Ikkompleta l- frażi li ġejja: Meta bdiet il- Gwerra Ċivili fl-1861, Smith serva bħala aide de camp għall- Gvernatur ta'l- Illinois Richard Yates. Fis-26 ta 'Diċembru, 1861, ġie maħtur kolonel tal-45 Illinois Volunteer Infantry Regiment, bir-rang retroattivat għal 23 ta' Lulju, 1861 biex jissostitwixxi l-Kolonel preċedenti li rriżenja mill-Kummissjoni tal-istat tiegħu meta r-regiment daħal fis-servizz Federali. Huwa mexxa r-reġiment tiegħu fil-battalji ta 'Fort Henry, Fort Donelson u Shiloh. Fid-29 ta 'Novembru, 1862 ġie promoss għal ġeneral ta' brigata tal-Voluntiera tal-Istati Uniti. Huwa kmandat briġada għal żmien qasir qabel ma ħa l-kmand tat-8 Diviżjoni, XVI Korp. Meta Ulysses S. Grant beda l-aħħar kampanja tiegħu kontra Vicksburg, Smith tpoġġa fil-kmand tal-ewwel Brigata, it-tielet Diviżjoni, XVII Korp. Huwa ġieled fil- battalji ta '
Port Gibson, Raymond, Champion Hill u fl-attakki fuq Vicksburg. F'Ġunju, 1863 f'nofs l-assedju ta 'Vicksburg, Smith intgħażel biex jissostitwixxi lill-Ġeneral Isaac F. Quinby fil-kmand tas-7 Diviżjoni, XVII Korp wara li Quinby marid u ħa leave of absence. F'Settembru tal-1863, Smith ġie ttrasferit biex jikkumanda t-Tieni Diviżjoni, XVII Korp u d-diviżjoni tiegħu ntbagħtet ma 'William T. Sherman biex tgħin fit-tnaqqis ta' Chattanooga. Matul il-battalja ta 'Missionary Ridge, Smith ħa sehem fl-attakki kontra l-ġenb tal-lemin tal-Konfederazzjoni f'Tunnel Hill.