Sebuah laporan 1562 akhirnya memberitahunya bahwa hanya sepuluh kastil di utara wilayahnya yang layak untuk dipelihara; Melbourne bukanlah salah satunya. Sebuah survei lebih lanjut pada tahun 1576 melaporkan bahwa, meskipun pekerjaan batuan berada dalam kondisi baik kecuali satu cerobong asap dan jendela, kayu-kayu di Melbourne telah binasa, atap timah penuh dengan lubang, satu dapur berada di ambang runtuh, dan lain perlu menggantikan lantai. Pada tahun yang sama, George Talbot, Earl ke-6 dari Shrewsbury, menulis kepada ratu untuk meyakinkan bahwa kastil dalam kondisi baik, senilai £1.000, dan dapat diperbaiki dengan biaya £100. Karena ia bertanggung jawab untuk menjaga tahanan, Ratu Mary dari Skotlandia, dan 140 orang-orangnya, ia meyakinkan dia untuk memindahkannya ke Melbourne. Pada tahun 1583, Istana Ratu Elizabeth di Melbourne hancur, meskipun bangunan yang digunakan untuk bangunan kastil itu cukup besar dan tidak layak untuk dibangun lagi.
konstruksi lainnya.