Palatsi rakennettiin alun perin Muhammad I:n, Cordoban Umayyad-emirin, toimesta vuosina 860-880. Kun maurit ajettiin pois Toledosta 1100-luvulla, linnoitus säilytti puolustusfunktionsa. Kastilian Henrik III lisäsi useita torneja. Hänen poikansa Johannes II käytti sitä kuninkaallisena asuinpaikkana. Kastilian kruununperintösotien aikana
Joanna la Beltranejan joukot piirittivät Alcázaria vuonna 1476, jolloin rakennus kärsi vakavia vahinkoja.