Colbert verliet Junot in 1805 en volgde generaal-majoor Maréchal Berthier als zijn aide de camp. Hij assisteerde bij Austerlitz.
Waar hij gewond raakte en chef-d'escadron werd. Hij vocht dapper bij Iena en Pułtusk. In 1807 werd hij kolonel en hoofd van zijn oude regiment, de 7e Husaren. Deze eenheid maakte nu deel uit van Lassalle's brigade, bijgenaamd de "infernale" brigade vanwege zijn passie. Napoleon maakte hem in 1808 tot ridder van het Légion d'honneur en in 1809 tot baron de Chabanais et de l'Empire.