Completa la següent frase: Un emplaçament de canons va ser construït el 1801 a Middle Head (al nord de la badia de l'Obelisc) durant les guerres napoleòniques, així com un altre a Georges Head. El Fort Phillip també va ser construït per protegir-se d'una possible invasió francesa el 1804, així com després de la
La rebel·lió dels presoners de Castle Hill el mateix any. Les fortificacions més permanents es van construir durant la primera meitat del segle XIX en resposta als temuts atacs estrangers amb noves amenaces per a l'imperi britànic, incloent-hi les tropes franceses de Napoleó el 1810 i la Flota del Pacífic Rus en la dècada de 1850 (durant la Guerra de Crimea). Mentrestant, dos vaixells de guerra americans (el sloop de guerra "Peacock" i el sloop de guerra "Vincennes") van entrar al port sense avisar el 30 de novembre de 1839, sota el cobert de la foscor. Tot i que només va ser una visita de cortesia, l'esdeveniment va demostrar la vulnerabilitat de l'assentament a l'atac i va destacar la consciència del seu aïllament i riquesa. L'illa Garden tenia fortificacions construïdes en la dècada de 1820, mentre que Bradleys Head va començar a construir-se el 1840. La construcció de Fort Denison va començar el 1841, tot i que el fort no es va completar fins al 1857.