James Conner osallistui Fort Sumterin pommitukseen Etelä-Carolinan miliisin Montgomery-vartioston kapteenina. Sisällissodan alussa hän kieltäytyi nimityksestä osavaltion syyttäjäksi. Sen sijaan hänestä tuli Hamptonin legioonan kapteeni ja taisteli Ensimmäisen Bull Runin taistelussa (Ensimmäinen Manassas), ottamalla väliaikaisen legioonan komennon eversti Wade Hamptonin haavoittumisen jälkeen. 21. heinäkuuta 1861 Conner nimitettiin Hamptonin legioonan majuriksi. Tämän jälkeen
Seitsemän mäntyjen taistelussa hän otti johdon 22. Pohjois-Carolinan vapaaehtoisten jalkaväkirykmentistä. Seitsemän päivän taisteluissa hänen jalkansa murtui Gaines Millin taistelussa. Kahden kuukauden toipumisajan jälkeen hän palasi johtamaan rykmenttinsä Chancellorsvillen taistelussa ja Gettysburgin taistelussa.