في عام 1311 ، حصل روبرت على ترخيص لإنشاء قصر من إدوارد الثاني من أجل تحصين منزل القصر ، وتم تحويل المبنى السابق الأكثر تواضعًا إلى قلعة بين عامي 1311 و 1322. تقول التقاليد المحلية إن الحجر تم الحصول عليه من محجر في موقع ما هو الآن بركة ملبورن. تظهر السجلات أن 1313 £ تم إنفاقه على المشروع في عام 1313-14 ، من بينها 548 £ تم دفعها للمبنين لتزيين الحجر. شارك العديد من البنائين العاملين في المشروع في شجار في رايفنستون في عام 1315. تم بناء المباني الوسطى المهمة في ملبورن من أساس الحجر المحلي ، ميلستون جريت.
مشرف