في عام 1311، حصل روبرت على ترخيص من إدوارد الثاني لتصنيع حصان من أجل تعزيز منزل القصر، وتم تحويل المبنى السابق الأكثر تواضعًا إلى قلعة بين عامي 1311 و 1322. تقول التقاليد المحلية إن الحجر تم الحصول عليه من محجر في موقع ما هو الآن بركة ملبورن. تظهر السجلات أن 1313 £ تم إنفاقه على المشروع في عام 1313-14، من بينها 548 £ تم دفعها للمبنين لتزيين الحجر. كان العديد من البنائين العاملين في المشروع متورطين في شجارة في رايفنستون في عام 1315. تم بناء المباني الوسطى المهمة في ملبورن من أساس الحجر المحلي، ميلستون جريت.
مدبر