في عام 1311 ، حصل روبرت على ترخيص لتخزين القصر من إدوارد الثاني من أجل تحصين منزل القصر ، وتم تحويل المبنى السابق الأكثر تواضعًا إلى قلعة بين عامي 1311 و 1322. تقول التقاليد المحلية إن الحجر تم الحصول عليه من محجر في موقع ما هو الآن بركة ملبورن. تظهر السجلات أن £ 1,313 تم إنفاقه على المشروع في عام 1313-14 ، منها £ 548 تم دفعها للمبنين لتزيين الحجر. شارك العديد من البنائين العاملين في المشروع في شجار في رايفنستون في عام 1315. تم بناء المباني الوسطى المهمة في ملبورن من أساس الحجر المحلي ، ميلستون جريت.
الصخرة المحلية، ميلستون جريت