Kompletigu la sekvan frazon: Kiam la Civita Milito komenciĝis en 1861, Smith funkciis kiel aide de camp al Illinois Governor Richard Yates. La 26-an de decembro 1861, li estis nomumita kolonelo de la 45-a Illinois Volunteer Infantry Regiment, kun la rango retro-datita al la 23-a de julio 1861 por anstataŭigi la antaŭan kolonelon, kiu eksiĝis de sia ŝtata komisiono kiam la regimento eniris federacian servon. Li gvidis sian regimenton en la bataloj de Fort Henry, Fort Donelson kaj Shiloh. La 29-an de novembro 1862 li estis promociita al brigadgeneralo de Usonaj Volontuloj. Li nelonge komandis brigadon antaŭ ol li prenis ordonrajton pri la 8-a dividado, XVI Corps. Kiam Ulysses S. Grant komencis sian finan kampanjon kontraŭ Vicksburg, Smith estis metita en komandon de la unua brigado, tria divizio, XVII-a korpuso. Li batalis en la bataloj de
Port Gibson, Raymond, Champion Hill kaj en la atako kontraŭ Vicksburg. En junio 1863, en la mezo de la sieĝo de Vicksburg, Smith estis elektita por anstataŭigi generalon Isaac F. Quinby en komando de la 7-a dividado, XVII Corps post kiam Quinby malsaniĝis kaj prenis forpermeson. En septembro 1863, Smith estis transdonita por komandi la 2-an divizion, XVII Corps kaj lia dividado estis sendita kun William T. Sherman por helpi en la krizhelpo de Chattanooga. Dum la batalo de Missionary Ridge, Smith partoprenis en la atakoj kontraŭ la konfederacia dekstra flanko ĉe Tunnel Hill.