Během Latimerova druhého ročníku studia vypukla občanská válka a Latimer opustil VMI, aby sloužil jižní konfederaci. Nejprve sloužil jako kadetní velitel pro dělostřelectvo Richmond Hampden během jara a léta roku 1861. Na podzim byl pověřen jako první poručík a viděl akci s divizí generála majora Richarda S. Ewella v kampani Shenandoah Valley v roce 1862. Po tom, co se vyznamenal v bitvách jako první Winchester,
Latimer byl povýšen na velitele praporu, který dříve patřil A. R. Courtneyovi. Po velení praporu v Fredericksburgu v prosinci 1862 byl Latimer povýšen na majora v březnu 1863. Ewell se na něj odvolával jako na "mladého Napoleona", ale jeho současníci si všimli jeho mládí a malého, lehkého vzrůstu tím, že ho nazývali "Boy Major". Stal se důstojníkem v praporu majora Richarda Snowdena Andrews v divizi majora generála Edwarda "Alleghenyho" Johnsona.