كتب استمرار لهذه الفقرة - بنيت قلعة ميدلهام بالقرب من موقع قلعة موتي وبايلي السابقة ، المسماة تلة ويليام ، والتي لا يزال موقعها يمكن رؤيته بالقرب ، على الرغم من أنه لا يوجد دليل على أعمال حجرية أو هياكل دفاعية لموقع القلعة السابق. المؤرخين بيعتقدوا إن الجدران الدفاعية للقلعة الأصلية اتبنت من الخشب. في سنة 1270، صارت قلعة ميدلهام الجديدة في أيدي عائلة نيفيل، وكان أبرز أعضائها ريتشارد نيفيل، إيرل وارويك السادس عشر، المعروف في التاريخ باسم "صانع الملوك"، وهو شخصية رائدة في حروب الورود. بعد وفاة ريتشارد ، دوق يورك ، في ويكفيلد في ديسمبر 1460 ، جاء ابنه الأصغر ، ريتشارد ، دوق غلوسستر ، إلى رعاية وارويك ، وعاش في ميدلهام مع عائلة وارويك. سُجن أخوه الملك إدوارد الرابع في ميدلهام لفترة قصيرة ، بعدما تم القبض عليه من قبل وارويك في 1469. بعد وفاة وارويك في بارنيت
في 1471 وعاد إدوارد إلى العرش، تزوج أخوه ريتشارد آن نيفيل، ابنة وارويك الأصغر، وجعل ميدلهام موطنه الرئيسي. ولد ابنهما إدوارد (المعروف باسم إدوارد من ميدلهام) ، أيضًا في القلعة حوالي عام 1476 ومات في وقت لاحق أيضًا هناك في عام 1484.