A fost reconstruit de forțele britanice în anii 1760, în jurul unui fort spaniol mai vechi, "Castell de Sant Felip", care a fost înființat în jurul anului 1554. Este cel mai bine cunoscut pentru apărarea sa nereușită în două ocazii de către britanici: în timpul asediului Fortului St. Philip (1756).
şi Invazia Minorcii, 1781. În urma acestui al doilea eveniment, castelul a fost parțial demolat.