Cuando comenzó la Guerra Civil en 1861, Smith sirvió como ayudante de campo del gobernador de Illinois Richard Yates. El 26 de diciembre de 1861 fue nombrado coronel del 45o Regimiento de Infantería Voluntaria de Illinois, con el rango retrocedido al 23 de julio de 1861 para reemplazar al coronel anterior que renunció a su comisión estatal cuando el regimiento entró en servicio federal. Dirigió a su regimiento en las batallas de Fort Henry, Fort Donelson y Shiloh. El 29 de noviembre de 1862 fue ascendido a general de brigada de los Voluntarios de los Estados Unidos. Comendó brevemente una brigada antes de tomar el mando de la 8a División, XVI Cuerpo. Cuando Ulysses S. Grant comenzó su campaña final contra Vicksburg, Smith fue puesto al mando de la 1a Brigada, 3a División, XVII Cuerpo. Luchó en las batallas de Port Gibson.
Raymond, Champion Hill y en los asaltos a Vicksburg. En junio de 1863, en medio del asedio de Vicksburg, Smith fue elegido para reemplazar al general Isaac F. Quinby en el mando de la 7a División, XVII Cuerpo después de que Quinby enfermó y tomó una licencia. En septiembre de 1863, Smith fue transferido al mando de la 2da División, XVII Cuerpo y su división fue enviada con William T. Sherman para ayudar en el alivio de Chattanooga. Durante la batalla de Missionary Ridge, Smith participó en los ataques contra el flanco derecho confederado en Tunnel Hill.