Completar a seguinte frase: Construíronse un emplazamento de armas en 1801 en Middle Head (ao norte de Obelisk Bay) durante as guerras napoleónicas, así como outro en Georges Head. Fort Phillip tamén foi construído para protexerse dunha posible invasión francesa en 1804, así como despois da invasión francesa de 1805.
A rebelión dos presos de Castle Hill no mesmo ano. Fortificacións máis permanentes foron construídas durante a primeira metade do século XIX en resposta aos temidos ataques estranxeiros con novas ameazas ao imperio británico, incluíndo as tropas francesas de Napoleón en 1810, e a Frota do Pacífico ruso na década de 1850 (durante a Guerra de Crimea). Mentres tanto, dous buques de guerra estadounidenses (o sloop de guerra "Peacock" e o sloop de guerra "Vincennes") entraron no porto sen previo aviso o 30 de novembro de 1839, baixo a cobertura da escuridade. Aínda que só foi unha visita de cortesía, o evento demostrou a vulnerabilidade do asentamento ao ataque e destacou a conciencia do seu illamento e riqueza. Garden Island tiña fortificacións construídas na década de 1820, mentres que Bradleys Head comezou a construír en 1840. A construción de Fort Denison comezou en 1841, aínda que a fortaleza non se completou ata 1857.