Palatul a fost construit inițial de Muhammad I, Emirul Umayyad al Cordobei, între 860 și 880. După ce maurii au fost alungaţi din Toledo în secolul al XI-lea, castelul şi-a păstrat funcţia de apărare. Henric al III-lea al Castiliei a adăugat mai multe turnuri. Fiul său Ioan al II-lea a folosit-o ca reședință regală. În timpul Războiului de Succesie Castiliană
(1476) trupele Ioanei la Beltraneja au fost asediate în Alcázar, timp în care clădirea a suferit daune grave.