Taun 1211 kastil punika kagunganipun Henry de Grey, keturunan satriya Normandia Anchetil de Greye. Keturunan Henry kalebet Lords Grey saking Codnor, Lords Grey saking Ruthyn, Wilton lan Rotherfield, Lady Jane Grey lan Earls saking Stamford, lan kulawarga Dukes saking Suffolk lan Kent ingkang boten gadhah keturunan malih. Larénipun mapan wonten ing Codnor lan dados Baron ingkang loyal marang Henry III. Sareng kaliyan sedhèrèkipun John lajeng nglayani Raja ing Tanah Suci. John Grey misah saking perang Sekotlan lan gabung marang Edward III. Sareng kaliyan William D'Eincourt, Lord Grey mimpin sadaya kesatriya Derbyshire lan Nottinghamshire kanggé nyingkiri invasi. Henry, keturunan pungkasan kulawarga séda nalika masa pamaréntahan Henry VIII. Piyambakipun marisaken sapérangan lemahipun dhateng putra-putranipun, Henry lan Richard. Sanèsipun dipunwarisaken dhateng bulekipun Elizabeth Grey ingkang lajeng ing taun 1429 krama kaliyan Sir John Zouche, lare paling enèm saking sekawan sedhèrèk Baron Zouche saking Harringworth. Sir John Zouche saking Codnor kaping tiga dados "High Sheriff of Derbyshire". Kastil punika dados kagunganipun kulawarga Zouche 200 taun dumugi dipunsadé lajeng pindhah dhateng Virginia taun 1634. Sir Streynsham Master, "High Sheriff of Derbyshire" ingkang mapan wonten ing kastil taun 1712, dipunlaporaken minangka tiyang pungkasan ingkang manggèni kastil mau.