George Neville var sonur Edward Neville, 3. barons Bergavenny og Elizabeth Beauchamp. Hann var gerður að riddara af Edvard IV 9. maí 1471, eftir að hafa barist fyrir konunginn á
Barátta við Tewkesbury. Hann tók við af föður sínum árið 1476.