Hann var endurbyggður af breskum styrkjum á 17. áratugnum, í kringum eldri spænskt festing, "Castell de Sant Felip", sem var stofnað um 1554. Það er best þekkt fyrir árangurslaus vörn sína í tvennt af Bretum: á meðan á umsátri á Fort St Philip (1756)
og innrásina á Minorku, 1781. Eftir síðari atburðinn var kastalið að hluta rifið.