1311 februárjában Ralph Thomas gróf 1308. februárjában Robert II. Edwardtól engedélyt szerzett a kastély felépítésére, hogy megerősítse a kastélyházat, és a szerényebb korábbi épületet 1311 és 1322 között kastélyvá alakították át. A helyi hagyomány szerint a kő a ma a Melbourne Pool helyén található kőbányából származik. A feljegyzések szerint 1313-14 évben £ 313 került a projektre, amelyből £ 548 fizetett az építőmunkásoknak a kőbevonásért.
a helyi kőzet, a Millstone Grit