Foi reconstruído polas forzas británicas na década de 1760, en torno a unha fortaleza española anterior, o "Castell de Sant Felip", que fora establecido en torno a 1554. É máis coñecido pola súa defensa fracasada en dúas ocasións polos británicos: durante o asedio de Fort St Philip (1756).
e a invasión de Menorca, 1781. Tras este último evento, o castelo foi parcialmente demolido.