James alistou-se no 16o Regimento de Infantería Voluntaria de Wisconsin ao estallar a Guerra Civil Americana o 13 de outubro de 1861 á idade de 13 anos. En 1864 foi capturado e levado á prisión de Andersonville. Sobreviviu a Andersonville, e cando foi mobilizado o 18 de xullo de 1865, foi co rango de capitán, con data retroactiva do 3 de outubro de 1861, "por valentía conspicua manifestada por el nas batallas de Corinto e Atlanta
. "