這座城堡建於前一座名為威廉山 (William's Hill) 的城堡附近, 歷史學家認為, 城堡的防護牆是用木材建造的. 在1270年, 新的米德勒姆城堡落入了尼維爾家族的手中, 其中最著名的成員是理查德·尼維爾, 沃里克第十六伯爵, 隨著約克公爵理查德在1460年12月在威克菲爾德去世, 他的小兒子格洛斯特公爵理查德在沃里克的照顧下, 在沃里克自己的家人身邊住在米德勒漢. 他兄弟愛德華四世在米德爾漢被囚禁了一段短暫的時間, 沃里克在巴內特死亡後
接著在1471年愛德華恢復王位後, 他的兄弟理查娶了沃里克的小女兒安妮·內維爾, 他們的兒子愛德華 (稱為米德勒姆的愛德華) 也在1476年左右在城堡出生, 後來在1484年也在那裡去世.