Schrijf een vervolg op deze paragraaf - De oorsprong van het kasteel kan zo oud zijn als de Fenicische stichting van Oea in de 7e eeuw v.Chr.; opgravingen hebben overblijfselen gevonden die dateren uit de Romeinse tijd. Net als het omringende gebied werd het omstreeks 439 overgenomen door het koninkrijk van de Vandalen.
door het Romeinse Rijk in 534, overwonnen door Amr ibn al-As in 642 of 643, opnieuw veroverd door de Byzantijnen en vervolgens opnieuw door het Califaat van de Omeyyaden in de late 7e eeuw; vervolgens onder de heerschappij van de Abbasiden (750-800), het Aghlabiden Emiraat van Ifriqiya (800-909), het Fatimiden Kalifaat (10e eeuw) die het gerenoveerd tot een koninklijke residentie, het Zirid Emiraat van Ifriqiya en Banu Khazrun (11e eeuw-1146), het Normandische Koninkrijk van Afrika (1146-58), het Almohad Kalifaat (1158-1229), het Hafsid Emiraat van Ifriqiya (1234-1321), de Ammar Beni (1321-1401) en opnieuw het Hafsid Emiraat (1401-1510, met een andere verval in het midden van de 15e eeuw).