Voltooi de volgende zin: Tijdens Latimers tweede studiejaar brak de Burgeroorlog uit en Latimer verliet VMI om de Zuidelijke Confederatie te dienen. Hij diende eerst als cadet drillmaster voor de Richmond Hampden Artillery tijdens de lente en zomer van 1861. In het najaar werd hij benoemd tot eerste luitenant en zag actie met de divisie van majoor-generaal Richard S. Ewell in de Shenandoah Valley Campaign van 1862. Na zich te hebben onderscheiden met zijn batterij in dergelijke veldslagen als
Eerst Winchester en Cedar Mountain, Latimer werd gepromoveerd tot bevelhebber van het bataljon dat eerder toebehoorde aan A. R. Courtney. Na het commando over het bataljon bij Fredericksburg in december 1862, werd Latimer gepromoveerd tot majoor in maart 1863. Ewell verwees naar hem als de "Jonge Napoleon", maar zijn tijdgenoten merkten zijn jeugd en kleine, lichte gestalte op door hem de "Boy Major" te noemen. Hij werd officier in het bataljon van majoor Richard Snowden Andrews van de divisie van majoor generaal Edward "Allegheny" Johnson.