Pada tahun 1311, Robert memperoleh lisensi untuk crenellate dari Edward II untuk memperkuat rumah manor, dan bangunan sebelumnya yang lebih sederhana diubah menjadi sebuah kastil antara 1311 dan 1322. Tradisi lokal mengatakan bahwa batu diperoleh dari sebuah tambang di situs yang sekarang Melbourne Pool. Catatan menunjukkan £ 1.313 dikeluarkan untuk proyek pada tahun 1313-14 yang £ 548 dibayar kepada tukang batu untuk berpakaian batu. Beberapa tukang batu yang bekerja pada proyek terlibat dalam sebuah affray di Ravenstone pada tahun 1315. Beberapa bangunan abad pertengahan yang penting di Melbourne dibangun dari dasar batu lokal, Millstone Grit.
dasar batuan lokal, Millstone Grit