Abergavenny yra įsikūrusi prie Usk upės ir jos šalinės upės Gavenny sujungimo. Ją beveik visiškai supa kalnai ir kalvos: Blorenge (559 m, 1,834 pėdų), Cukrinė duona, Ysgyryd Fawr (Didysis Skirrid), Ysgyryd Fach (Mažas Skirrid), Deri, Rholben ir Mynydd Llanwenarth, žinomas kaip "Llanwenarth krūtinė". Abergavenny suteikia prieigą prie netoliese esančių Juodųjų kalnų ir Breconso nacionalinio parko. Offa's Dyke Path yra netoliese ir Marches Way, Beacons Valley Way ir Usk Walk eina per miestą.
Juodieji kalnai