Kiedy wybuchła wojna domowa w 1861 roku, Smith służył jako aide de camp gubernatora Illinois, Richarda Yatesa. W dniu 26 grudnia 1861 roku został mianowany pułkownikiem 45th Illinois Volunteer Infantry Regiment, z rangą zwrotną do 23 lipca 1861 roku, aby zastąpić poprzedniego pułkownika, który zrezygnował ze stanowej komisji, gdy pułk wszedł do służby federalnej. Prowadził swój pułk w bitwach pod Fortem Henry, Fortem Donelson i Shiloh. 29 listopada 1862 został awansowany do rangi generała brygady ochotników amerykańskich. Krótko dowodził brygadą, zanim przejął dowództwo nad VIII Dywizją, XVI Korpusem. Kiedy Ulysses S. Grant rozpoczął swoją ostatnią kampanię przeciwko Vicksburgu, Smith został dowódcą 1 Brygady, 3 Dywizji, XVII Korpusu. Walczył w bitwie pod Port Gibson.
Raymond, Champion Hill i w atakach na Vicksburg. W czerwcu 1863 roku, w trakcie oblężenia Vicksburg, Smith został wybrany na zastępcę generała Isaaca F. Quinby'ego na czele VII Dywizji XVII Korpusu po tym, jak Quinby zachorował i wziął urlop. We wrześniu 1863 roku Smith został przeniesiony na dowódcę II Dywizji XVII Korpusu, a jego dywizja została wysłana z Williamem T. Shermanem, aby pomóc w odbudowie Chattanoogi. Podczas bitwy pod Missionary Ridge, Smith brał udział w atakach na konfederatów z prawej flanki w Tunnel Hill.