في عام 1311، حصل روبرت على ترخيص لتصميم القصر من إدوارد الثاني من أجل تعزيز منزل القصر، وتم تحويل المبنى السابق الأكثر تواضعًا إلى قلعة بين عامي 1311 و 1322. تقول التقاليد المحلية إن الحجر تم الحصول عليه من محجر في موقع ما هو الآن بركة ملبورن. تظهر السجلات أن 131313 جنيه استرليني تم إنفاقه على المشروع في عام 1313-14، من بينها 548 جنيه استرليني تم دفعها للمهندسين لتزيين الحجر. كان العديد من المهندسين العاملين في المشروع متورطين في شجارة في رايفنستون في عام 1315. تم بناء المباني الوسطى المهمة في ملبورن من أساس الحجر المحلي، ميلستون جريت.
الصخرة المحلية، ميلستون غريت