Con seu irmán David, James ingresou no exército dos Estados Unidos en 1861, uníndose á Compañía F do 16o Regimiento de Infantería Voluntaria de Wisconsin, ao estoupido da Guerra Civil Americana. Participou na Batalla de Pittsburg.
, e foi despedido en 1862.