ف فبراير 1308، حصل رالف توماس على رخصة من إدوارد الثاني ليتحكم في القصر، و تم تحويل المبنى القديم لقلعة بين 1311 و 1322. التقاليد المحلية تقول إن الحجر تم الحصول عليه من محجر على موقع ما هو الآن بركة ملبورن. تظهر السجلات أن 1.313 جنيه استرليني تم إنفاقها على المشروع في عام 1313-14، منها 548 جنيه استرليني تم دفعها للمهندسين لترتيب الحجارة. كان العديد من المهندسين اللي كيعملو على المشروع متورطين في شجارة في رايفنستون في عام 1315. تم بناء المباني المهمة من العصور الوسطى في ملبورن من الأساس المحلي، ميلستون غريت.
الصخرة المحلية، ميلستون غريت