James Conner osallistui Fort Sumterin pommitukseen kapteenina Etelä-Carolinan miliisioyksikössä. Sisällissodan alussa hän kieltäytyi nimityksestä osavaltion syyttäjäksi. Sen sijaan hänestä tuli Hamptonin legioonan kapteeni ja taisteli Ensimmäisen Bull Runin taistelussa (Ensimmäinen Manassas), ottamalla väliaikaisen legioonan komennon eversti Wade Hamptonin haavoittumisen jälkeen. 21. heinäkuuta 1861 Conner nimitettiin Hamptonin legioonan majuriksi. Seitsemän mäntyjen taistelun jälkeen
Peninsula-kampanjan aikana hän otti komennon 22. Pohjois-Carolinan vapaaehtoisjalkaväkirykmentistä. Seitsemän päivän taisteluissa hänen jalkansa murtui Gaines Millin taistelussa. Kahden kuukauden toipumisajan jälkeen hän palasi johtamaan rykmenttinsä Chancellorsvillen taistelussa ja Gettysburgin taistelussa.