James Conner va participar en el bombardeig de Fort Sumter com a capità de les Guàrdies Montgomery, una unitat de la milícia de Carolina del Sud. Al començament de la Guerra Civil, va declinar un nomenament com a fiscal de districte per a la Confederació. En canvi, es va convertir en capità de la Legió Hampton i va lluitar a la Batalla de First Bull Run (First Manassas), prenent el comandament temporal de la legió després que el coronel Wade Hampton fos ferit. El 21 de juliol de 1861, Conner va ser nomenat major de la Legió de Hampton. Després de la batalla de Seven Pines
Durant la Campanya de la Península, va prendre el comandament del 22è Regiment de Voluntaris d'Infanteria de Carolina del Nord. Durant les Batalles dels Set Dies, es va trencar la seva cama per una bala de fusell durant la Batalla de Gaines Mill. Després d'un període de recuperació de dos mesos, va tornar a dirigir el seu regiment a la Batalla de Chancellorsville i la Batalla de Gettysburg.