Durante el segundo año de estudios de Latimer, estalló la Guerra Civil y Latimer dejó VMI para servir a la Confederación del Sur. Primero se desempeñó como maestro de instrucción de cadetes para la Artillería Richmond Hampden durante la primavera y el verano de 1861. En el otoño, fue comisionado como primer teniente y vio acción con la división del mayor general Richard S. Ewell en la Campaña del Valle de Shenandoah de 1862. Después de distinguirse con su batería en batallas como
Primero Winchester y Cedar Mountain, Latimer fue ascendido al mando del batallón que anteriormente había pertenecido a A. R. Courtney. Después de comandar el batallón en Fredericksburg en diciembre de 1862, Latimer fue ascendido a mayor en marzo de 1863. Ewell se refirió a él como el "Joven Napoleón", pero sus contemporáneos notaron su juventud y su pequeña estatura, llamándolo el "Boy Major". Se convirtió en oficial en el batallón del mayor Richard Snowden Andrews de la división del mayor general Edward "Allegheny" Johnson.