Middleham Nevillesin perintö tuli sen sijaan riidan kohteeksi kuningas Eduardin veljien välillä: Richard, Gloucesterin herttua, ja Clarence, joka oli palannut perheeseen ennen Barnetin taistelua. Clarence, jonka vaatimus perustui hänen avioliittoonsa Isabel Nevillen kanssa, sai Warwickin ja Salisburyn earldomit. Gloucester hankki vanhat Neville-omaisuudet pohjoisessa ja perusti vaatimuksensa naimalla Anne Nevillen, joka oli jäänyt leskeksi prinssi Eduardin kuoleman jälkeen, kun Lancasterit hävisivät Tewkesburyn taistelussa.
Vuonna 1471. Nevilleiltä peritty pohjoinen maa ja asiakaskunta tulivat Gloucesterin tärkeimmäksi voimapohjaksi, ja hän omaksui Middlehamin linnan pääasiallisena asuinpaikkanaan, kunnes hän anasti valtaistuimen Richard III:ksi vuonna 1483.