James se zapsal do 16. dobrovolného pěšího pluku Wisconsinu při vypuknutí americké občanské války 13. října 1861 ve věku 13 let. V roce 1864 byl zajat a odvezen do vězení v Andersonville. Přežil Andersonville, a když byl shromážděn 18. července 1865, to bylo s patentem hodnost kapitána, zpětně datované 3. října 1861, "pro nápadné statečnosti projevené jím v bitvách u Korintu a Atlantě
. "