Fëllt de folgende Saz aus: Gouverneur John Hunter huet bestallt e Fort ze bauen an de Fort Phillip gouf am Joer 1804 vum drëtte New South Wales Gouverneur (am Büro 1800 <unk> 1806), Philip Gidley King, deelweis als Äntwert op extern Bedrohungen wéi e méiglechen franséische Attack am Joer 1803 an deelweis wéinst den internen Onrouen vu rebellesche Verurteelten reflektéiert an der eenzeger grousser Australien
d'Opstand vun de Prisonéier bei Castle Hill am Mäerz 1804. Dëst gouf d'Schluecht vu Vinegar Hill genannt, well déi meescht vun de veruerteelte Rebellen Iresch waren. Windmill Hill (spéider Observatory Hill) gouf als Fort-Standort gewielt, well et den héchsten Punkt iwwer der Kolonie war, deen eng beherrschend Vue op d'Hafen-Approche vun Osten a Westen, de Floss an d'Strooss op Parramatta, d'Ëmgéigend an d'ganz Stad ënnen huet. D'Festung war ni komplett fäerdeg an et gouf ni een eenzege Schoss aus Roserei ausgedréckt.