V roce 1843 byl Zeng jmenován hlavním literárním examinátorem v provincii Sichuan. O šest let později byl jmenován starším zástupcem tajemníka Rady pro rituály. Když zastával úřad vojenského vyšetřovatele (1851), byl přinucen smrtí své matky se vrátit do provincie Hunan, aby provedl rodinný smutek, který měl trvat tři roky. Přibližně v té době, rebelové Taiping
Přepadli Hunan a dobyli města a pevnosti na obou březích řeky Yangtze. Zvláštním nařízením dostal Zeng rozkaz, aby pomohl provinciálnímu guvernérovi získat dobrovolníky a z vlastní iniciativy vybudoval flotilu válečných džunků a více arzenálů, se kterými napadl povstalce. Tato síla se nakonec stala známá jako armáda Xiang (a.k.a. Hunanská armáda nebo armáda Chu). Při výcviku a velení Xiangské armády zdůrazňoval Zeng "rodinné vazby, individuální odpovědnost, pružnou, ale zodpovědnou kázeň, zvýšené vojenské platy, úctu k intelektuálům sloužícím v armádě a silné pouto mezi důstojníky a vojáky". V prvním střetu s povstalci byl Zeng poražen, ale jeho poručíci byli úspěšnější. Získali zpět hlavní město provincie, Čangšu, a zničili rebelskou flotilu. Po těchto vítězstvích svých podřízených získal Zeng Wuchang a Hanyang poblíž Hankou a za svůj úspěch byl odměněn jmenováním místopředsedou válečné rady. Xiangská armáda pod vedením Zenga obsahovala několik integrovaných cvičebních skupin z Hangzhou.