Skribu daŭrigon por ĉi tiu paragrafo - Guberniestro John Hunter ordonis konstrui fortikaĵon kaj Fort Phillip estis komisiita en 1804 de la tria Novsudkimria Guberniestro (en oficejo 1800<unk>1806), Philip Gidley King, parte kiel respondo al eksteraj minacoj kiel ebla franca atako en 1803 kaj parte pro la interna maltrankvilo de ribelaj kondamnitoj reflektitaj en la sola grava kondamnita ribelo de Aŭstralio
ĉe Castle Hill en marto 1804. Tio estis sinkronigita la Batalo de Vinegar Hill ĉar la plej multaj el la kondamnitaj ribelantoj estis irlandanoj. Windmill Hill (pli posta Observatory Hill) estis elektita kiel fortika loko ĉar ĝi estis la plej alta punkto super la kolonio, havigante komandantajn vidojn de la Havenaj aliroj de oriento kaj okcidento, la rivero kaj vojo al Parramatta, ĉirkaŭa lando kaj de la tuta urbo malsupre. La fortikaĵo neniam estis kompletigita kaj neniam pafis eĉ unu pafon pro kolero.