Henry III built a luxurious royal palace within the castle during the middle of the century, and Edward III went further, rebuilding the palace to make an even grander set of buildings in what would become "the most expensive secular building project of the entire Middle Ages in England".
Henrik 3. opførte et kongeligt palads inden for borgens mure i midten af det 13. århundrede, og Edvard 3. gik endnu længere, idet han genopbyggede paladset for at skabe et overdådigt byggeri, der blev "det dyreste profane byggeprojekt i middelalderens England".