James ingħaqad mas-16-il Rġiment ta' Infanterija Volontarja ta' Wisconsin mal-bidu tal-Gwerra Ċivili Amerikana fit-13 ta' Ottubru 1861 fl-età ta' 13-il sena. Fl- 1864 ġie maqbud u ttieħed fil- ħabs taʼ Andersonville. Huwa sopraviva Andersonville, u meta kien miġbur barra 18 Lulju, 1865, kien bil-grad brevet ta 'Kaptan, retroattivament 3 Ottubru, 1861, "għall-kuraġġ evidenti manifestata minnu fil-battalji ta 'Korintu u Atlanta
. "