وبالرغم من أن العمل الحجري كان سليم، إلا أن الصيانة البسيطة قادت إلى تدهور كبير في أجزاء أخرى من الهيكل. شراء الدار في عام 1604 من قبل هنري هاستينغز، إيرل الخامس من هانتينغدون، الللي كان ليه القلعة الخاصة به في آشبي دي لا زو. تم هدم ممتلكات ميلبورن واستعملت كمصدر للمواد البناءية. كل ما بقي من قلعة ميلبورن اليوم هو جزء من الجدار طوله 15 متر وارتفاعه 4 متر وبعض الأسس؛ ما كايعرفش على التخطيط الداخلي للمبنى السابق. الخرابات مدرجة في الدرجة الثانية والموقع نصب تذكاري مخطط.
هدموا واستعملوا كمصدر للمواد البناء