It was certainly destroyed by 1323 as records of an inquest held that year after the death of Sir Aymer de Valence state Mitford Castle to be " entirely destroyed and burnt."
Sicher aber ist, dass sie im Jahre 1323 bereits zerstört war, da Aufzeichnungen einer Untersuchung, die nach dem Tod von Sir Aymer de Valence durchgeführt wurde, erwähnen, dass Mitford Castle „vollkommen zerstört und verbrannt“ sei.