John Hunter ríkisstjóri skipaði fyrir að byggð yrði fort og var Fort Phillip skipað árið 1804 af þriðja ríkisstjóra New South Wales (á embætti 1800<unk>1806), Philip Gidley King, að hluta til sem viðbrögð við utanaðkomandi ógnir eins og mögulega frönsku árás árið 1803 og að hluta til vegna innri óróa frá uppreisnarfullum dæmdum sem endurspeglast í einu helstu uppreisn dæmda í Ástralíu
í Castle Hill í mars 1804. Þetta var kallað slaginn við Vinegar Hill þar sem flestir uppreisnarmenn voru Írar. Windmill Hill (síðar Observatory Hill) var valið sem staðsetning á festingunni þar sem það var hæsti punkturinn fyrir ofan nýlenduna, og gaf frá sér frábærar útsýni yfir aðkomu hafnarinnar frá austri og vestri, ána og veginn til Parramatta, umhverfis landið og alla bæinn fyrir neðan. Fortið var aldrei fullbúið og aldrei var skotið eitt skot í reiði.