1311 m. Robertas gavo licenciją iš Edvardo II, kad galėtų įtvirtinti dvaro namą, o labiau kuklus anksčiau pastatytas pastatas buvo paverstas pilis tarp 1311 ir 1322 m. Vietinė tradicija sako, kad akmuo buvo gautas iš akmenų kasyklos, esančios dabartinio Melburno baseino vietoje. Vietos įrašai rodo, kad 1313-14 m. projektui buvo išleista 1 313 svarų sterlingų, iš kurių 548 svarų sterlingų buvo sumokėta mūrininkams už akmens apdailą.
valdininkas