Isulat ang usa ka pagpadayon alang niini nga parapo - Middleham Castle gitukod duol sa dapit sa usa ka mas sayo motte ug bailey kastilyo, nga gitawag William sa Bukid, ang dapit nga sa gihapon makita sa duol, bisan walay ebidensiya sa stonework o depensibo nga mga istruktura sa kanhi kastilyo site. Ang mga historyano nagtuo nga ang mga paril sa pagpanalipod sa orihinal nga kastilyo gitukod gikan sa kahoy. Sa 1270 ang bag-ong Middleham Castle miabot ngadto sa mga kamot sa Neville pamilya, ang labing inila nga miyembro nga mao si Richard Neville, ika-16 Earl sa Warwick, nailhan sa kasaysayan ingon nga ang "Kingmaker", usa ka nag-unang numero sa mga Gubat sa mga Rosas. Human sa kamatayon ni Richard, Duke sa York, sa Wakefield sa Disyembre 1460, ang iyang manghod nga anak nga lalaki, si Richard, Duke sa Gloucester, misulod sa pag-atiman ni Warwick, ug nagpuyo sa Middleham uban sa kaugalingon nga pamilya ni Warwick. Ang iyang igsoon nga si Haring Edward IV gibilanggo sa Middleham sa mubo nga panahon, kay nadakpan sa Warwick niadtong 1469. Human sa kamatayon ni Warwick sa Barnet
sa 1471 ug ang pagpahiuli ni Edward sa trono, ang iyang igsoong si Richard naminyo kang Anne Neville, ang manghod nga anak nga babaye ni Warwick, ug gihimo ang Middleham nga iyang pangunang pinuy-anan. Ang ilang anak nga si Edward (nailhan nga Edward sa Middleham), natawo usab sa kastilyo sa mga 1476 ug sa ulahi namatay usab didto sa 1484.