Dokonči nasledujúcu vetu: Keď v roku 1861 začala občianska vojna, Smith slúžil ako aide de camp guvernérovi štátu Illinois Richardu Yatesovi. Dňa 26. decembra 1861 bol vymenovaný za plukovníka 45. regimentu dobrovoľníckej pechoty v Illinois, s hodnosťou od 23. júla 1861, aby nahradil predchádzajúceho plukovníka, ktorý odstúpil od svojej štátnej komisie, keď regiment vstúpil do federálnej služby. Vedel svoj regiment v bitkách pri pevnosti Henry, pevnosti Donelson a Shiloh. Dňa 29. novembra 1862 bol povýšený na brigádneho generála amerických dobrovoľníkov. Krátko velil brigáde pred prevzatím velenia 8. divízie XVI. Keď Ulysses S. Grant začal svoju poslednú kampaň proti Vicksburgu, Smith bol poverený velením 1. brigády, 3. divízie, XVII korpusu. Bojoval v bitkách
Port Gibson, Raymond, Champion Hill a v útokoch na Vicksburg. V júni 1863, uprostred obliehania Vicksburgu, bol Smith vybraný, aby nahradil generála Isaaca F. Quinbyho v velení 7. divízie, XVII korpusu po tom, čo Quinby ochorel a vzal si dovolenku. V septembri 1863 bol Smith presunutý na velenie 2. divízie XVII. zboru a jeho divízia bola poslaná s Williamom T. Shermanom na pomoc pri oslobodení Chattanoogy. Počas bitky pri Missionary Ridge sa Smith zúčastnil na útokoch proti pravici Konfederácie pri Tunnel Hill.