Kamilisha sentensi ifuatayo: Mahali pa kuweka bunduki palijengwa mwaka wa 1801 huko Middle Head (kaskazini mwa Ghuba ya Obelisk) wakati wa vita vya Napoleon, na pia mahali pengine palipokuwa Georges Head. Fort Phillip pia ilijengwa ili kulinda dhidi ya uvamizi wa Kifaransa katika 1804, pamoja na kufuatia
Castle Hill wafungwa uasi mwaka huo huo. Nguvu zaidi za kudumu zilijengwa wakati wa nusu ya kwanza ya karne ya 19 kwa kukabiliana na hofu ya mashambulizi ya kigeni na vitisho vipya kwa ufalme wa Uingereza, ikiwa ni pamoja na askari wa Napoleon wa Ufaransa mwaka 1810, na meli ya Urusi ya Pasifiki katika miaka ya 1850 (wakati wa Vita vya Crimea). Wakati huohuo meli mbili za vita za Marekani (sloop ya vita "Peacock" na sloop ya vita "Vincennes") iliingia bandari bila kutangazwa tarehe 30 Novemba 1839, chini ya kivuli cha giza. Ingawa ilikuwa ziara ya heshima tu, tukio hilo lilionyesha uwezekano wa makazi hayo kushambuliwa na kuonyesha ufahamu wa kutengwa na utajiri wake. Kisiwa cha bustani kilikuwa na ngome zilizojengwa katika miaka ya 1820, wakati kichwa cha Bradleys kilianza kujenga mnamo 1840. Ujenzi wa Ngome ya Denison ulianza mwaka wa 1841, ingawa ngome hiyo haikuwa imekamilika hadi 1857.