Spolu so svojím mladším bratom Davidom, James vstúpil do armády Spojených štátov v roku 1861, pripojili sa k oddelení F 16. regimentu Wisconsin Volunteer Infantry, po vypuknutí americkej občianskej vojny. Zúčastnil sa bitky pri Pittsburg Landing.
, a bol prepustený v roku 1862.