Tuliskan kelanjutan untuk paragraf ini - Posisi senjata dibangun pada tahun 1801 di Middle Head (di utara Teluk Obelisk) selama perang Napoleon, serta yang lain di Georges Head. Benteng Phillip juga dibangun untuk melindungi dari kemungkinan invasi Prancis pada tahun 1804, serta menyusul pemberontakan tahanan Castle Hill
tahun yang sama. Benteng-benteng yang lebih permanen dibangun selama paruh pertama abad ke-19 sebagai tanggapan terhadap serangan asing yang ditakuti dengan ancaman baru terhadap kekaisaran Inggris, termasuk pasukan Prancis Napoleon pada tahun 1810, dan Armada Pasifik Rusia pada tahun 1850-an (saat Perang Krimea). Sementara itu dua kapal perang Amerika (sloop perang "Peacock" dan sloop perang "Vincennes") memasuki pelabuhan tanpa pemberitahuan pada 30 November 1839, di bawah perlindungan kegelapan. Meskipun hanya kunjungan sopan, acara tersebut menunjukkan kerentanan permukiman untuk menyerang dan menyoroti kesadaran akan isolasi dan kekayaannya. Garden Island memiliki benteng yang dibangun pada tahun 1820-an, sementara Bradleys Head mulai dibangun pada tahun 1840. Pembangunan Benteng Denison dimulai pada tahun 1841, meskipun benteng itu tidak selesai sampai tahun 1857.