השלים את המשפט הבא: כאשר מלחמת האזרחים החלה ב-1861, סמית' שימש כעוזר מחנה למושל אילינוי ריצ'רד יאטס. ב-26 בדצמבר 1861 הוא מונה לקולונל של גדוד חיל הרגלים המתנדב ה-45 של אילינוי, עם דרגה שחזרה לאחור ל-23 ביולי 1861 כדי להחליף את הקולונל הקודם שהתפטר מפקדת המדינה שלו כאשר הגדוד נכנס לשירות הפדרלי. הוא הוביל את הגדוד שלו בקרב על פורט הנרי, פורט דונלסון ושילה. ב-29 בנובמבר 1862 הועלה לדרגת בריגדיר גנרל של המתנדבים האמריקאים. הוא פיקד על חטיבה לזמן קצר לפני שקיבל פיקוד על הדיוויזיה השמינית, חיל XVI. כאשר יוליסס ס. גרנט החל במסעו האחרון נגד ויקסבורג, סמית' קיבל פיקוד על החטיבה הראשונה, הדיוויזיה השלישית, חיל XVII. הוא נלחם בקרב של
פורט גיבסון, ריימונד, צ'מפיון היל וההתקפות על ויקסבורג. ביוני 1863, באמצע המצור על ויקסבורג, סמית' נבחר להחליף את הגנרל אייזק קווינבי בפיקוד הדיוויזיה השביעית, חיל XVII, לאחר שקווינבי חלה ולקח חופשה. בספטמבר 1863 הועבר סמית' לתפקיד מפקד הדיוויזיה השנייה, חיל XVII והדיוויזיה שלו נשלחה עם ויליאם T. שרמן כדי לסייע בהקלה של צ'אטנוגה. במהלך קרב מיסיונרי רידג', סמית' השתתף במתקפות נגד האגף הימני של הקונפדרציה בטונל היל.