Voltooi de volgende zin: Toen de Burgeroorlog begon in 1861, Smith diende als aide de camp aan de gouverneur van Illinois Richard Yates. Op 26 december 1861 werd hij benoemd tot kolonel van het 45th Illinois Volunteer Infantry Regiment, met de rang teruggedateerd tot 23 juli 1861 om de vorige kolonel te vervangen die ontslag nam uit zijn staatscommissie toen het regiment de federale dienst betrad. Hij leidde zijn regiment in de veldslagen van Fort Henry, Fort Donelson en Shiloh. Op 29 november 1862 werd hij gepromoveerd tot brigadegeneraal van de Amerikaanse vrijwilligers. Hij leidde kort een brigade voordat hij het bevel overnam van de 8e divisie, XVI Korps. Toen Ulysses S. Grant zijn laatste campagne tegen Vicksburg begon, werd Smith geplaatst in het bevel van de 1e Brigade, 3e Divisie, XVII Korps. Hij vocht in de veldslagen van
Port Gibson, Raymond, Champion Hill en de aanvallen op Vicksburg. In juni 1863, midden in het beleg van Vicksburg, werd Smith gekozen om generaal Isaac F. Quinby te vervangen in het bevel van de 7e divisie, XVII Korps nadat Quinby ziek werd en een verlof nam. In september 1863 werd Smith overgeplaatst naar het commando van de 2e divisie, XVII Korps en zijn divisie werd met William T. Sherman gestuurd om te helpen bij de verlichting van Chattanooga. Tijdens de slag bij Missionary Ridge nam Smith deel aan de aanvallen tegen de rechterflank van de Confederatie op Tunnel Hill.