În 1311, Robert a obținut în cele din urmă o licență de crenellate de la Edward al II-lea, în scopul de a fortifica casa de conațiune, iar mai modestă clădire anterioară a fost transformată într-un castel între 1311 și 1322. Tradiția locală spune că piatra a fost obținută dintr-o carieră de pietre de pe site-ul a ceea ce este acum Melbourne Pool. Înregistrările arată că 1.313 £ a fost cheltuit pe proiect în anul 1313-14, din care 548 £ a fost plătit pentru zidari pentru îmbrăcăminte de piatră.
roca de bază locală, Millstone Grit