Když v roce 1861 začala občanská válka, Smith sloužil jako pomocník guvernéra Richarda Yatese. Dne 26. prosince 1861 byl jmenován plukovníkem 45. dobrovolného pěšího pluku Illinois, s hodností zpětně datovanou na 23. července 1861, aby nahradil předchozího plukovníka, který rezignoval na svou státní komisi, když pluk vstoupil do federální služby. Vedl svůj pluk v bitvách u Fortu Henry, Fortu Donelson a Shiloh. Dne 29. listopadu 1862 byl povýšen na brigádního generála amerických dobrovolníků. Krátce velel brigádě, než převzal velení 8. divize XVI sboru. Když Ulysses S. Grant zahájil svou poslední kampaň proti Vicksburgu, Smith dostal velení 1. brigády, 3. divize, XVII sboru. Bojoval v bitvách u Port Gibson.
Raymond, Champion Hill a při útoku na Vicksburg. V červnu 1863, uprostřed obléhání Vicksburgu, byl Smith vybrán, aby nahradil generála Isaaca F. Quinbyho ve velení 7. divize XVII sboru poté, co Quinby onemocněl a vzal si dovolenou. V září 1863 byl Smith přeložen na velení 2. divize XVII sboru a jeho divize byla poslána s Williamem T. Shermanem na pomoc při záchraně Chattanoogy. Během bitvy u Missionary Ridge se Smith zúčastnil útoků proti pravému křídlu Konfederace u Tunnel Hill.