Kamilisha sentensi ifuatayo: Gavana John Hunter aliamuru ngome kujengwa na Ngome ya Phillip iliagizwa mnamo 1804 na Gavana wa tatu wa New South Wales (katika ofisi ya 1800 <unk> 1806), Philip Gidley King, kwa sehemu kama majibu ya vitisho vya nje kama vile shambulio linalowezekana la Ufaransa mnamo 1803 na kwa sehemu kwa sababu ya machafuko ya ndani kutoka kwa wafungwa waasi yaliyoonyeshwa katika Australia pekee kubwa
uasi wa wafungwa huko Castle Hill mnamo Machi 1804. Vita hivyo viliitwa Vita vya Vinegar Hill kwa sababu waasi wengi waliohukumiwa walikuwa Wairelandi. Windmill Hill (baadaye Observatory Hill) alichaguliwa kama eneo ngome kama ilikuwa hatua ya juu juu ya koloni, kutoa maoni amri ya Harbour mbinu kutoka mashariki na magharibi, mto na barabara ya Parramatta, nchi jirani na ya mji mzima chini. Ngome hiyo haikukamilishwa kabisa na hakuna risasi hata moja iliyotumiwa kwa hasira.