Abergavenny está situado na confluencia do río Usk e un afluente, o Gavenny. Está case completamente rodeado por montañas e outeiros: o Blorenge (559 m, 1,834 ft), o Pan de Azucre, ((596 m, 1,955 ft), Ysgyryd Fawr (Great Skirrid), Ysgyryd Fach (Little Skirrid), Deri, Rholben e Mynydd Llanwenarth, coñecido localmente como "Llanwenarth Breast". Abergavenny proporciona acceso ás cercanas Black Mountains e ao Parque Nacional de Beacon Brecons. The Offa's Dyke Path está preto e o Camiño das Marchas, o Camiño do Val de Beacons e o Camiño Usk Walk pasan por toda a cidade. Pregunta: Que montañas están preto de Abergavenny?
Montañas Negras