A második év alatt kitört a polgárháború, és Latimer elhagyta a VMI-t, hogy a Déli Konföderációt szolgálja. Először kadét tanármesterként szolgált a Richmond Hampden Tüzérségben 1861 tavaszán és nyarán. Ősszel első hadnagy lett, és fellépett Richard S. Ewell tábornok hadosztályával az 1862-es Shenandoah-völgyi hadjáratban. Azután, hogy kitűnt az akkumulátorával olyan csatákban, mint
Az első Winchester és a Cedar Mountain, Latimer a zászlóalj parancsnokságára lépett elő, amely korábban A. R. Courtney-hez tartozott. Miután 1862. decemberében a zászlóalj parancsnoka volt Fredericksburgban, Latimer 1863. márciusában őrnagy lett. Ewell "fiatal Napóleonnak" nevezte, de kortársai a fiatalságát és a kis, enyhe testtartalmát "főnökfiúnak" nevezték. Tiszt lett Richard Snowden Andrews zászlóaljában, Edward "Allegheny" Johnson tábornok hadosztályában.