A saját katonai zsenialitása a napóleoni háborúk alatt virágzott. Az 1805-ös hadjárat során Jermolov a hátsó és előretartó őrökben szolgált, és kiemelkedett Amstettennél és
Austerlitz. Tetteiért 1806. július 16-án ezredesré emelték. A következő évben részt vett a lengyelországi hadjáratban, Bagration herceg előőrsében szolgálva. Egy tüzérségi század parancsnoksága alatt számos hátsó hadműveletben kiemelkedett a Landsbergbe való visszavonulás során, valamint az Eylau-i csata során. 1807 júniusában Jermolov parancsnoka volt a lovas tüzérségi századnak a Guttstadt, Deppen, Heilsberg és Friedland elleni hadjáratokban. 1808. március 28-án tábornoknaggyá léptették elő, és lovas tüzérségi társaságok felügyelőjévé nevezték ki. 1809 elején a Duna Hadsereg tüzérségi társulatát ellenőrizte. Bár a hadosztálya részt vett az 1809-es Ausztria elleni hadjáratban, Jermolov parancsnoka volt a tartalékoknak Volhynia és Podolsk guberniában, ahol a következő két évben maradt. 1811-ben átvette az őr tüzérségi társaság parancsnokságát, 1812-ben pedig a 1. nyugati hadsereg vezérkarának vezére lett.