اكتب استمرار لهذه الفقرة - قصر ميدلهام بُني بالقرب من موقع قصر سابق، يسمى تلة ويليام، والذي لا يزال يُمكن رؤية موقعه بالقرب منه، على الرغم من أنه لا يوجد دليل على أعمال حجرية أو هياكل دفاعية لموقع القلعة السابق. يعتقد المؤرخون ان الجدران الدفاعية للقلعة الأصلية بنيت من الخشب. في عام 1270، أصبحت قلعة ميدلهام الجديدة في أيدي عائلة نيفيل، وكان أبرز أعضائها ريتشارد نيفيل، إيرل وارويك السادس عشر، المعروف في التاريخ باسم "صانع الملوك"، وهو شخصية رائدة في حروب الورود. بعد وفاة ريتشارد، دوق يورك، في ويكفيلد في ديسمبر 1460، جاء ابنه الأصغر، ريتشارد، دوق غلوستر، إلى رعاية وارويك، وعاش في ميدلهام مع عائلة وارويك. شقيقه الملك إدوارد الرابع سجن في ميدلهام لفترة قصيرة، بعد أن تم القبض عليه من قبل وارويك في 1469. بعد موت وارويك في بارنيت
في عام 1471 وعاد إدوارد إلى العرش، تزوج أخوه ريتشارد آن نيفيل، ابنة وارويك الأصغر، وجعل ميدلهام منزله الرئيسي. ولد ابنهما إدوارد (المعروف باسم إدوارد من ميدلهام) في القلعة حوالي عام 1476 ومات هناك في عام 1484.