フォート・フィリップは,1804年にニュー・サウス・ウェールズ州第3代州知事 (就任1800~1806年) フィリップ・ギドリー・キングによって,一部は1803年のフランス軍の攻撃など外部の脅威への対応として,一部は反乱的な囚人の内部不安が反映されたため,
1804年3月にキャッスルヒルでの 囚人の反乱 これはヴィネガールヒルの戦いと呼ばれた. 囚人の反乱者のほとんどはアイルランド人であった. 風車丘 (後に観測所丘) は,植民地の上部で最も高い点であり,東と西から港に近づき,川とパラマッタへの道路,周辺の土地,そして下部の町全体を見渡すことができるため,砦の位置として選ばれました. 砦は完全に完成せず 怒りの発砲は一度もなかった