Middleham-kastalinn var byggður nálægt staðnum þar sem áður var motte- og bailey-kastal, sem kallaður var William's Hill, en enn er hægt að sjá staðinn í nágrenninu, þó að engin merki sé um steinverk eða varnarbyggingar á staðnum. Sagnfræðingar telja að varnarveggir upprunalegu kastalans hafi verið byggðir úr timbri. Árið 1270 varð Middleham-kastið í höndum Neville-fjölskyldunnar, en þekktasti meðlimur hennar var Richard Neville, 16. jarl af Warwick, sem þekktur er í sögunni sem "Kingmaker" (konungsgerðandinn) og var leiðandi í Rósabaráttunni. Eftir dauða Ríkards, hertoga af York, í Wakefield í desember 1460, kom yngri sonur hans, Ríkard, hertoga af Gloucester, í umsjá Warwick og bjó í Middleham með eigin fjölskyldu Warwick. Bróðir hans, Edvard IV, var fangelsaður í Middleham í stuttan tíma eftir að Warwick hafði fangað hann árið 1469. Eftir dauða Warwick í Barnet
Árið 1471 og við endurreisn Edvards á hásæti giftist bróðir hans Richard Anne Neville, yngri dóttur Warwick, og gerði Middleham að aðalheimili sínu. Sonur þeirra, Edvard (þekktur sem Edvard af Middleham), fæddist einnig á kastalanum um 1476 og lést síðar einnig þar árið 1484.