A polgárháború kezdetén, 1861-ben, Smith az Illinois kormányzójának, Richard Yatesnek szolgált. 1861. december 26-án kinevezték a 45. illinois-i önkéntes gyalogos ezred ezredesévé, a rangot visszafelé, 1861. július 23-ig, hogy helyettesítse az előző ezredest, aki lemondott az állami bizottságáról, amikor az ezred szövetségi szolgálatba lépett. Ő vezette az ezredét Fort Henry, Fort Donelson és Shiloh csatáiban. 1862. november 29-én előléptették az amerikai önkéntesek tábornokává. Rövid ideig parancsnok volt egy hadosztályon, mielőtt átvette a VIII. hadosztály, a XVI. hadtest parancsnokságát. Amikor Ulysses S. Grant megkezdte utolsó hadjáratát Vicksburg ellen, Smithet a XVII. hadtest 3. hadosztályának 1. brigádjának parancsnokává tették. Harcolt a
Port Gibson, Raymond, Champion Hill és a Vicksburg elleni támadásokban. 1863. júniusában, a Vicksburg ostroma közepén, Smithet választották, hogy helyettesítse Isaac F. Quinby tábornokot a 7. hadosztály, XVII hadtest parancsnokságában, miután Quinby megbetegedett és távollétre ment. 1863. szeptemberében Smithet a XVII. hadtest 2. hadosztályának parancsnokságára helyezték át, és a hadosztályát William T. Shermannel együtt küldték Chattanooga enyhítésére. A Missionary Ridge-i csata során Smith részt vett a Tunnel Hill-i konföderációs jobb szárny elleni támadásokban.