ג'יימס התגייס לגדוד חיל הרגלים המתנדב ה-16 של ויסקונסין עם פרוץ מלחמת האזרחים האמריקאית ב-13 באוקטובר 1861 בגיל 13. בשנת 1864 הוא נתפס ונלקח לכלא אנדרסוןוויל. הוא שרד את אנדרסוןוויל, וכשהוא הוצב בצבא ב-18 ביולי, 1865, זה היה עם דרגת קפטן, בתאריך 3 באוקטובר, 1861, "על גבורה בולטת שהתבטאה בו בקרב על קורנתוס ואטלנטה
. "