Ljúktu eftirfarandi setningu: Þegar borgarastyrjöldin hófst árið 1861 starfaði Smith sem aðstoðarmaður Richard Yates, ríkisstjóra Illinois. Þann 26. desember 1861 var hann skipaður fulltrúi í 45. sjálfboðaliðafylkinginni í Illinois, með stöðu aftur á dag 23. júlí 1861 til að koma í stað fyrri fulltrúa sem sagði af sér ríkisstjórn þegar fylkingin gekk í sambandsþjónustu. Hann leiddi herlið sitt í bardaga við Fort Henry, Fort Donelson og Shiloh. Þann 29. nóvember 1862 var hann færður í embætti brigadegenerals í sjálfboðaliðum Bandaríkjanna. Hann var stuttan hershöfðingi brígöðu áður en hann tók við stjórn 8. deildar XVI herdeildarinnar. Þegar Ulysses S. Grant hóf síðasta herferð sína gegn Vicksburg var Smith settur í stjórn 1. brígöðu, 3. deildar, XVII liðs. Hann barđist í bardaga
Port Gibson, Raymond, Champion Hill og í árásunum á Vicksburg. Í júní 1863, í miðri umburðarásinni á Vicksburg, var Smith valinn til að skipta út Isaac F. Quinby hershöfðingja 7. deildar, XVII herdeildar eftir að Quinby veiktist og tók leyfi. Í september 1863 var Smith færður til að stjórna 2. deild, XVII liði og deild hans var send með William T. Sherman til að aðstoða við lausn Chattanooga. Á meðan á bardaga við Missionary Ridge stóð tók Smith þátt í árásum á hægri væng Confederate á Tunnel Hill.