Täytä seuraava lause: Vuonna 1801 rakennettiin Napoleonin sodan aikana Middle Headiin (obelisk-lahden pohjoiseen) asepaikka sekä toinen Georges Headiin. Fort Phillip rakennettiin myös suojaamaan mahdollisesta ranskalaisesta hyökkäyksestä vuonna 1804.
Castle Hillin vankien kapina samana vuonna. Pysyvämpiä linnoituksia rakennettiin 1800-luvun ensimmäisellä puoliskolla vastauksena pelätyille ulkomaisille hyökkäyksille, jotka aiheuttivat uusia uhkia Britannian imperiumille, mukaan lukien Napoleonin ranskalaiset joukot vuonna 1810 ja Venäjän Tyynenmeren laivasto 1850-luvulla (Krimin sodan aikana). Samaan aikaan kaksi amerikkalaista sotalaivaa (sotalaiva "Peacock" ja sotalaiva "Vincennes") saapui satamaan ilmoittamatta 30. marraskuuta 1839 pimeyden suojassa. Vaikka vierailu oli vain kohteliaisuusvierailu, tapahtuma osoitti aseman haavoittuvuuden hyökkäyksille ja korosti tietoisuutta sen eristyksestä ja rikkaudesta. Garden Islandilla oli linnoituksia, jotka rakennettiin 1820-luvulla, kun taas Bradleys Head aloitti rakentamisen vuonna 1840. Fort Denisonin rakentaminen alkoi vuonna 1841, mutta se valmistui vasta vuonna 1857.