Kai 1861 m. prasidėjo Pilietinis karas, Smitas tarnavo Ilinojaus gubernatoriaus Richardo Yateso adjutantu. 1861 m. gruodžio 26 d. jis buvo paskirtas 45-ojo Ilinojaus savanorių pėstininkų pulko pulkininku, kurio laipsnis buvo pakeistas į 1861 m. liepos 23 d., pakeičiant ankstesnį pulkininką, kuris atsistatydino nuo savo valstybės komisijos, kai pulkas įstojo į federalinę tarnybą. Jis vadovavo savo pulkui Fort Henry, Fort Donelson ir Shiloh mūšiuose. 1862 m. lapkričio 29 d. jis buvo paaukštintas į JAV savanorių brigados generalą. Jis trumpai vadovavo brigadai, o vėliau perėmė komandą VIII divizijai, XVI korpuso. Kai Ulissas S. Grantas pradėjo savo paskutinę kampaniją prieš Viksburgą, Smitas buvo paskirtas vadovauti 1 brigadai, 3 divizijai, XVII korpuso. Jis kovojo
Port Gibson, Raymond, Champion Hill ir užpuolimai prieš Vicksburgą. 1863 m. birželį, apsupant Viksburgą, Smitas buvo išrinktas pakeisti generolą Izaoką F. Kvinbį, vadovaujantį VII divizijai, XVII korpusui, kai Kvinbis susirgo ir išėjo į atostogas. 1863 m. rugsėjo mėn. Smitas buvo perkeltas į komandą 2 divizijai, XVII korpusui, o jo divizija buvo išsiųsta su Williamu T. Shermanu, kad padėtų atgaivinti Chattanoogą. Misionieriaus kalvos mūšyje Smitas dalyvavo atakose prieš konfederatų dešinįjį flanką Tunelo kalne.