Įėjimas į kelią, vedantį į Koneswaramą, iš tikrųjų yra įėjimas į tai, kas anksčiau buvo Fort Fredrick. 1623 m. fortą pastatė portugalai, o 1639 m. jį užėmė olandai. Vėliau jis buvo išardytas ir atstatytas, o 1782 m. per ketvirtąjį anglo-olandų karą buvo užpultas ir užgrobtas britų. Tada prancūzai jį paėmė iš britų ir grąžino olandams už didelę pinigų sumą. 1795 m., kai Prancūzai okupavo Nyderlandų Respubliką per Pirmosios koalicijos karą
, jis vėl buvo perimtas britų, kurie pavadino jį Fort Frederick.