Í febrúar 1308 veitti Ralph Thomas jarl, sem var að vinna við verkið, landmannshúsið í nágrenninu. Árið 1311 fékk Robert leyfi til að innrétta stein frá Edward II til þess að styrkja hermannshúsið, og auðmjúkri fyrri bygging var breytt í kastal á milli 1311 og 1322. Staðbundin hefð segir að steinninn hafi verið aflaður úr steinbrotinu á staðnum sem nú er Melbourne Pool. Skrár sýna að 1.313 pund voru varið í verkefninu árið 1313-14 og þar af var 548 pund greitt til steinmanna til að klæða stein.
staðbundinn steinn, Millstone Grit