Abergavenny este situat la confluența râului Usk și a unui afluent, Gavenny. Este aproape în întregime înconjurat de munți și dealuri: Blorenge (559 m, 1,834 ft), Sugar Loaf, 596 m, 1,955 ft), Ysgyryd Fawr (Great Skirrid), Ysgyryd Fach (Little Skirrid), Deri, Rholben și Mynydd Llanwenarth, cunoscut local ca "Llanwenarth Breast".
Munţii Negri