כתוב המשך לקטע זה - טירת מידלהאם נבנתה ליד אתר של טירה מוקדמת יותר, הנקראת וויליאם'ס היל, אשר אתר זה עדיין ניתן לראות בקרבת מקום, אם כי אין ראיות של אבן או מבנים הגנים לאתר הטירה לשעבר. היסטוריונים מאמינים שהקירות ההגנה של הטירה המקורית נבנו מעץ. בשנת 1270 הגיע טירת מידלהאם החדשה לידי משפחת נוויל, שהיתה החבר המפורסם ביותר שלה היה ריצ'רד נוויל, הרוזן ה-16 של וורוויק, הידוע בהיסטוריה כ"מלך המלך", דמות מובילה במלחמות הוורדים. לאחר מותו של ריצ'רד, דוכס יורק, בוויקפילד בדצמבר 1460, הבן הצעיר שלו, ריצ'רד, דוכס גלוסטר, נכנס לטיפולו של וורוויק, וחי במילדהאם עם משפחתו של וורוויק. אחיו, המלך אדוארד הרביעי, נכלא במילדהאם לזמן קצר, לאחר שנלכד על ידי וורוויק בשנת 1469. לאחר מותו של וורוויק בברנט
ב-1471, לאחר שחזר אדוארד לכס המלכות, אחיו ריצ'רד התחתן עם אן נוויל, בתו הצעירה של וורוויק, והפך את מידלהאם לביתו העיקרי. בנו, אדוארד (המכונה אדוארד ממידלהאם), נולד גם הוא בטירה בסביבות שנת 1476 ומאוחר יותר גם הוא מת שם בשנת 1484.