A Middleham Neville-ek öröksége vált Edward király testvérei, Richard, Gloucester hercege és Clarence vitájának tárgyává, aki a Barnet-i csata előtt visszatért a családba. Clarence, akinek a követelése Isabel Neville-lel való házasságán alapult, megkapta Warwick és Salisbury grófságát. Gloucester megszerezte a régi Neville birtokokat északon, és azzal állította be igényeit, hogy feleségül vette Anne Neville-t, aki özvegy lett Edward herceg halála után a Lancaster-i vereségben.
Tewkesbury csata 1471-ben. A Neville-éktől örökölt északi földek és ügyfelek lettek Gloucester fő erőbázisa, és a Middleham-kastélyt vette át fő rezidenciájaként, amíg a trónra nem került III. Richardként 1483-ban.