Middlehamo pilis buvo pastatyta netoli ankstesnės motte ir bailey pilies, vadinamos William's Hill, kurios vieta vis dar gali būti matoma netoliese, nors nėra jokių įrodymų, kad senovės pilies vietoje buvo akmenų darbų ar gynybinės struktūros. Istorikai mano, kad pirmosios pilies gynybinės sienos buvo pastatytos iš medžio. 1270 m. Naujoji Middlehamo pilis pateko į Neville'ų šeimos rankas, kurių žymiausias narys buvo Ričardas Neville'as, 16-asis Varikovo grafas, žinomas istorijoje kaip "Karalių kūrėjas", pagrindinė rožių karų figūra. 1460 m. gruodį Veikfildyje mirus Jorkos kunigaikščiui Ričardui, jo jaunesnysis sūnus Ričardas, Glosterio kunigaikštis, tapo Varikovo globėju ir gyveno Middleame su Varikovo šeima. Jo brolis karalius Edvardas IV buvo trumpai įkalintas Middleame, kai 1469 m. jį užėmė Varvikas. Po Warwicko mirties Barnet
1471 m. Edvardas atgavo sostą, o jo brolis Ričardas vedė Aną Nevilę, jaunesnę Warwicko dukrą, ir Middlehamas tapo jo pagrindiniu gyvenamuoju pastatu. Jų sūnus Edvardas (žinomas kaip Edvardas iš Middlehamo) taip pat gimė 1476 m. pilyje ir vėliau taip pat mirė 1484 m.