Se svým mladším bratrem Davidem vstoupil James do armády Spojených států v roce 1861, připojil se k rotě F 16. dobrovolného pěšího pluku Wisconsinu, po vypuknutí americké občanské války. Zúčastnil se bitvy u Pittsburg Landing.
, a byl propuštěn v roce 1862.