O palacio foi construído inicialmente por Muhammad I, emir omeia de Córdoba, entre 860 e 880. Despois de que os moros fosen expulsados de Toledo no século XI, o castelo mantivo a súa función defensiva. Henrique III de Castela engadiu varias torres. O seu fillo Xoán II usou-o como residencia real. Durante a Guerra de Sucesión Castelá
En 1476, as tropas de Xoana de Beltrán foron sitiadas no Alcázar, durante o cal o edificio sufriu graves danos.