Istana ini awalnya dibangun oleh Muhammad I, Emir Umayyah dari Cordoba, antara tahun 860 dan 880. Setelah orang-orang Moor diusir dari Toledo pada abad ke-11, kastil ini mempertahankan fungsinya sebagai pertahanan. Henry III dari Castile menambahkan beberapa menara. Putranya Yohanes II menggunakannya sebagai kediaman kerajaan. Selama Perang Suksesi Kastilia
(1476) pasukan Joanna la Beltraneja dikepung di Alcázar, di mana bangunan mengalami kerusakan parah.