Completar a seguinte frase: Cando a Guerra Civil comezou en 1861, Smith serviu como un aide de camp ao gobernador de Illinois Richard Yates. O 26 de decembro de 1861 foi nomeado coronel do 45o Regimento de Infantería Voluntaria de Illinois, co rango retrocedido ao 23 de xullo de 1861 para substituír ao coronel anterior que renunciou á súa comisión estatal cando o rexemento entrou no servizo federal. Liderou o seu rexemento nas batallas de Fort Henry, Fort Donelson e Shiloh. O 29 de novembro de 1862 foi ascendido a xeneral de brigada dos Voluntarios dos Estados Unidos. Comandou brevemente unha brigada antes de tomar o mando da 8a División, XVI Corpo. Cando Ulysses S. Grant comezou a súa campaña final contra Vicksburg, Smith foi colocado ao mando da 1a Brigada, 3a División, XVII Corpo. El loitou nas batallas de
Port Gibson, Raymond, Champion Hill e nos ataques a Vicksburg. En xuño de 1863, no medio do asedio de Vicksburg, Smith foi elixido para substituír ao xeneral Isaac F. Quinby no mando da 7a División, XVII Corpo despois de que Quinby enfermara e tomara unha licenza de ausencia. En setembro de 1863, Smith foi trasladado para comandar a 2a División, XVII Corpo e a súa división foi enviada con William T. Sherman para axudar no alivio de Chattanooga. Durante a batalla de Missionary Ridge, Smith participou nos ataques contra o flanco dereito confederado en Tunnel Hill.