O gobernador John Hunter ordenou a construción dun forte e o forte Phillip foi encargado en 1804 polo terceiro gobernador de Nova Gales do Sur (no cargo 1800 <unk> 1806), Philip Gidley King, en parte como resposta a ameazas externas como un posible ataque francés en 1803 e en parte debido á inquietude interna de rebelados rebelados reflectida na única rebelión de rebelións de Australia
en Castle Hill en marzo de 1804. Esta foi apelidada a batalla de Vinegar Hill xa que a maioría dos rebeldes condenados eran irlandeses. Windmill Hill (posteriormente Observatory Hill) foi elixido como un lugar forte xa que era o punto máis alto por riba da colonia, ofrecendo vistas impresionantes das aproximacións do porto desde o leste e o oeste, o río e a estrada a Parramatta, o país circundante e de toda a cidade abaixo. O forte nunca foi completamente rematado e nunca se disparou un só disparo de rabia.