Koneswaramiin johtavan tien sisäänkäynti on itse asiassa Fort Fredrickin sisäänkäynti. Portugalilaiset rakensivat linnoituksen vuonna 1623 ja hollantilaiset valloittivat sen vuonna 1639. Se meni sitten purkamisen ja jälleenrakennuksen vaiheesta, ja britit hyökkäsivät ja valloittivat sen vuonna 1782 neljännen anglo-hollantilaisen sodan aikana. Ranskalaiset ottivat sen briteiltä ja palauttivat hollantilaisille suuresta summasta. Vuonna 1795, kun ranskalaiset olivat miehittäneet Alankomaiden tasavallan ensimmäisen koalition sodan aikana
Britit valtasivat sen uudelleen ja nimesivät sen Fort Frederickiksi.