Middleham Castle werd gebouwd in de buurt van de plaats van een eerdere motte en bailey kasteel, genaamd William's Hill, waarvan de site nog steeds in de buurt te zien is, hoewel er geen bewijs is van steenwerk of defensieve structuren op de voormalige kasteelplaats. Historici geloven dat de verdedigingsmuren van het oorspronkelijke kasteel van hout zijn gebouwd. In 1270 kwam het nieuwe Middleham Castle in handen van de familie Neville, waarvan het meest opmerkelijke lid Richard Neville, 16e graaf van Warwick, in de geschiedenis bekend staat als de "Kingmaker", een vooraanstaand figuur in de Oorlogen van de Rozen. Na de dood van Richard, hertog van York, in Wakefield in december 1460, kwam zijn jongere zoon, Richard, hertog van Gloucester, in de zorg van Warwick, en woonde in Middleham met Warwick's eigen familie. Zijn broer koning Eduard IV werd een korte tijd in Middleham gevangen gehouden, nadat hij in 1469 door Warwick was gevangen genomen. Na de dood van Warwick bij Barnet
In 1471 trouwde zijn broer Richard met Anne Neville, Warwick's jongste dochter, en maakte Middleham zijn hoofdverblijfplaats. Hun zoon Edward (bekend als Edward van Middleham), werd ook rond 1476 in het kasteel geboren en stierf later ook daar in 1484.