A Koneswaramhoz vezető út bejárata valójában a Fort Fredrick bejárata volt. Az erődöt 1623-ban építették a portugálok, és 1639-ben a hollandok elfoglalták. Ezután a lebontás és újjáépítés fázisán ment keresztül, és 1782-ben megtámadták és elfoglalták a britek a negyedik angol-holland háború alatt. A franciák aztán elvették a britektől, és visszaadták a hollandoknak nagy pénzért. 1795-ben, amikor a franciák elfoglalták a holland köztársaságot a
Az első koalíció háborúja után a britek ismét elfoglalták, és Fort Frederick-nek nevezték el.