Užbaigi šį sakinį: Napoleono karų metu 1801 metais Vidurio galvoje (iš šiaurės nuo Obelisko įlankos) buvo pastatyta ginklų stovykla, taip pat dar viena - Džordžo galvoje. Fortas Filipas taip pat buvo pastatytas apsaugoti nuo galimos prancūzų invazijos 1804 m., taip pat po
Castle Hill kalinio maištas tais pačiais metais. Nuolatinės tvirtovės buvo pastatytos per pirmąją XIX a. pusę, reaguojant į užsienio atakų grėsmes, įskaitant Napoleono prancūzų karius 1810 m. ir Rusijos Ramiojo vandenyno laivyną 1850 m. (Krimos karo metu). Tuo tarpu 1839 m. lapkričio 30 d. į uostą įplaukė du amerikiečių kariniai laivai (karinis laivas "Peacock" ir karinis laivas "Vincennes"). Nors tai buvo tik mandagus vizitas, šis renginys parodė, kad gyvenvietė yra pažeidžiama atakoms ir pabrėžė jos izoliaciją ir turtą. 1820-aisiais Garden Island buvo pastatytos tvirtovės, o Bradleys Head pradėta statyti 1840-aisiais. Forto Denison statyba prasidėjo 1841 m., nors fortas buvo baigtas tik 1857 m.