Kuvernööri John Hunter määräsi linnoituksen rakennettavaksi, ja kolmannen New South Walesin kuvernöörin (virassa 1800 <unk> 1806), Philip Gidley King, määräsi Fort Phillipin vuonna 1804, osittain vastauksena ulkoisiin uhkiin, kuten mahdolliseen ranskalaiseen hyökkäykseen vuonna 1803, ja osittain kapinoivien vankien sisäisen levottomuuden vuoksi, joka heijastui Australiassa ainoassa suuressa vankien kapina
Castle Hillissä maaliskuussa 1804. Tätä kutsuttiin nimellä Vinegar Hillin taistelu, koska suurin osa kapinallisista oli irlantilaisia. Windmill Hill (myöhemmin Observatory Hill) valittiin linnoituksen sijaintipaikaksi, koska se oli korkein kohta siirtokunnan yläpuolella, josta oli upeat näkymät sataman lähestymistavoista idästä ja lännestä, joesta ja tieltä Parramattalle, ympäröivästä maasta ja koko kaupungista alapuolella. Linnoitusta ei koskaan rakennettu loppuun, eikä sitä ammuttakaan.