Scrieți o continuare pentru acest paragraf - O poziție de tun a fost construită în 1801 pe Middle Head (la nord de Golful Obelisk) în timpul războaielor napoleoniene, precum și o altă la Georges Head. Fortul Phillip a fost, de asemenea, construit pentru a proteja de o potențială invazie franceză în 1804, precum și în urma rebeliunii condamnaților de la Castle Hill.
În acelaşi an. Fortificații mai permanente au fost construite în prima jumătate a secolului al XIX-lea ca răspuns la atacurile străine temute cu noi amenințări la adresa imperiului britanic, inclusiv trupele franceze ale lui Napoleon în 1810 și flota rusă din Pacific în anii 1850 (în timpul războiului din Crimeea). Între timp, două nave de război americane (sloopul de război "Peacock" și sloopul de război "Vincennes") au intrat în port neanunțate la 30 noiembrie 1839, sub acoperirea întunericului. Deși a fost doar o vizită de curtoazie, evenimentul a demonstrat vulnerabilitatea așezării la atac și a evidențiat conștientizarea izolației și bogăției sale. Insula Garden a avut fortificații construite în anii 1820, în timp ce Bradleys Head a început să fie construit în 1840. Construcția Fortului Denison a început în 1841, deși fortul nu a fost finalizat până în 1857.