1861年に南北戦争が勃発すると スミスはイリノイ州知事 リチャード・イエイツの補佐官として働いた 1861年12月26日,第45イリノイ州志願歩兵連隊の大佐に任命され,連隊が連邦軍に入ると州委員会を辞任した前の大佐を代わった. 彼はフォート・ヘンリー,フォート・ドネルソン,そしてシロの戦いで彼の連隊を率いた. 1862年11月29日,彼はアメリカ志願軍の准将に昇進した. 彼は短期間旅団を指揮し,その後第8師団第16軍団を指揮した. ユリセス・S・グラントがヴィックスバーグに対する最後の戦いを始めたとき,スミスは第1旅団第3師団第17軍団の指揮官に任命された. 彼はポート・ギブソンの戦いで戦った
レイモンド,チャンピオン・ヒル,そしてビックスバーグの攻撃で 1863年6月,ヴィックスバーグの包囲の最中に,スミスは,クインビーが病気になり,休暇を取った後,第7師団第XVII軍団の司令官としてアイザック・F・クインビー将軍に代わって選ばれました. 1863年9月,スミスは第2師団第17軍団の指揮に移され,彼の師団はチャタヌーガの救援にウィリアム・T・シャーマンと共に派遣された. ミッショナリーリッジの戦いで,スミスはトンネルヒルで南軍の右翼に対する攻撃に参加した.