Skrifaðu framhald fyrir þessa málsgrein - höllin var upphaflega byggð af Muhammad I, Umayyad Emir af Cordoba, á milli 860 og 880. Eftir að Múrarnir voru reknir út úr Toledo á 11. öld varðveitti kastalið varnarstarf sitt. Henrik III af Kastilíu bætti við nokkrum turnum. Sonur hans, Jón II, notaði það sem konunglega búsetu. Á meðan á stríði um arfgengni Kastillíu stóð
Árið 1476 voru hersveitir Jóhönnu Beltraneja umkringdar í Alcázar, þar sem byggingin varð fyrir miklum skemmdum.