Täytä seuraava lause: Kuvernööri John Hunter määräsi linnoituksen rakennettavaksi ja Fort Phillipin tilasi vuonna 1804 kolmas New South Walesin kuvernööri (virassa 1800 <unk> 1806), Philip Gidley King, osittain vastauksena ulkoisiin uhkiin, kuten mahdolliseen ranskalaiseen hyökkäykseen vuonna 1803 ja osittain kapinoivien vankien sisäisen levottomuuden vuoksi, mikä heijastui Australiassa ainoassa suuressa
Castle Hillissä maaliskuussa 1804. Tätä kutsuttiin nimellä Vinegar Hillin taistelu, koska suurin osa kapinallisista oli irlantilaisia. Windmill Hill (myöhemmin Observatory Hill) valittiin linnoituksen sijaintipaikaksi, koska se oli korkein kohta siirtokunnan yläpuolella, josta oli upeat näkymät sataman lähestymistavoista itä- ja länsipuolelta, joesta ja tieltä Parramattalle, ympäröivästä maasta ja koko kaupungista. Linnoitusta ei koskaan rakennettu loppuun, eikä sitä ammuttakaan.