A palotát eredetileg Mohamed I. építette, a Cordobai Umayyad Emír 860 és 880 között. Miután a 11. században kiűzték a mórokat Toledoból, a vár megőrizte védelmi funkcióját. III. kasztíliai Henrik számos tornyot épített. II. János fia királyi rezidenciaként használta. A kasztíliai örökösödési háború alatt
(1476) Joanna la Beltraneja csapatait ostromolták az Alcázarban, amelynek során az épület súlyos károkat szenvedett.