1804 m. trečias Naujosios Pietų Velso gubernatorius (buvęs 1800 <unk> 1806 m.), Philip Gidley King, užsakė statyti fortą, iš dalies reaguodamas į išorines grėsmes, tokias kaip galimas prancūzų puolimas 1803 m., ir iš dalies dėl vidaus neramumų iš maištaujančių kalinių, atspindėtų vieninteliu didžiausiu Australijos kalinių maištu.
1804 m. kovo mėn. Šis mūšis buvo pavadintas Vinižaro kalno mūšiu, nes dauguma sukilėlių kalinių buvo airių. Windmill Hill (vėliau Observatory Hill) buvo pasirinkta kaip forto vieta, nes tai buvo aukščiausias taškas virš kolonijos, suteikiantis puikių vaizdų į uostą iš rytų ir vakarų, upę ir kelią į Parramatą, aplinkinę šalį ir visą žemiau esantį miestą. Fortas niekada nebuvo visiškai baigtas ir niekada nebuvo paleistas vienas šūvis pykčio.