Vuonna 1311 Robert sai luvan raivata kartanon Edward II:ltä, jotta kartano olisi vahvempi, ja vaatimattomampi aikaisempi rakennus muutettiin linnaksi vuosien 1311 ja 1322 välillä. Paikallinen perinne kertoo, että kivi saatiin louhoksesta paikalla, joka on nyt Melbourne Pool. Kirjoitukset osoittavat, että hankkeeseen käytettiin £ 1,313 vuonna 1313-14, josta £ 548 maksettiin muurinpitäjille kiven pukeutumisesta. Useat rakennusmiehet osallistuivat Ravenstoneissa vuonna 1315. Merkittävimmät keskiaikaiset rakennukset Melbournessa rakennettiin paikallisesta pohjakivestä, Grit Millstoneista. Tämä on kovasti hienoa, jota voidaan käyttää hyväksi.
paikallinen pohjakivi, Millstone Grit