Pada tahun 1604 rumah itu dibeli oleh Henry Hastings, Earl Huntingdon ke-5, yang memiliki kastil sendiri di Ashby-de-la-Zouch yang berdekatan. Properti Melbourne kemudian dirobohkan dan digunakan sebagai sumber bahan bangunan. Yang tersisa dari Kastil Melbourne hari ini adalah bagian dari dinding sekitar 15 m (50 kaki) panjang dan 4 m (13 kaki) tinggi dan beberapa fondasi; tidak ada yang diketahui tentang tata letak internal bangunan sebelumnya.
15 m (50 kaki) panjang dan 4 m (13 kaki) tinggi