Putunipun, William nggantos posisi ing taun 1162 gabung kaliyan putra Raja ing pamberontakan nglawan bapakipun, Henry II lan taun 1173 kastil dipunrisak kaping kalih. Sasampunipun punika William II ingkang dipunremeni déning Raja John ingkang dipunkonduraken kebangsawanipun sareng kaliyan para manor saking Wirksworth, Ashbourne lajeng Kastil Horston (Horsley). Ing sawijining dinten, kastil-kastil ing Tutbury lan Duffield dipunyasa malih kanthi dipundamel saking watu. William salajengipun ugi pikantuk kathah enthengan saking Karajan. Pangeran salajengipun, Robert génerasi kaping 7 mberontak marang Henry III lan Kastil Tutbury dipunrisak. Sanajan lajeng dipunparingi ampun, Robert ngraman malih lan kalah nalika tempur wonten ing Chesterfield dipunrebut taun 1269 lan Kastil Duffield dipunrisak. Lahan mau dipuncaosaken dhateng Pangeran Edmund boten dangu lajeng pikantuk gelar "Earl of Lancaster". Kastil saèstu dipundamel rata kaliyan lemah, kathah watu-watu ingkang dipun-ginakaken kanggé yasan sanès lajeng sansaya dangu kanggé tuwuh taneman. Kenangan awit saking wontenipun bètèng dipunmangertosi saking nama "Castle Orchard" utawi "Kebon Kastil" ingkang dados pawiyaran saking griya-griya saking tilas kastil tumuju margi Hazlewood. Situs punika kapanggih ing taun 1885.