ラティマーの2年生で内戦が勃発し ラティマーはVMIを去って 南部連合軍に勤めた 1861年の春と夏にリッチモンド・ハンプデン大砲隊の訓練士として勤務した. 秋に,彼は第1中尉として就任し,1862年のシェナンダウ渓谷作戦でリチャード・S・イーウェル少将の師団と戦った. 戦闘の際 戦闘の際 戦闘の際
ラティマーは先ずA・R・コートニーに属していた大隊の指揮官に昇進した. 1862年12月にフレデリックスバーグで大隊を指揮した後,ラティマーは1863年3月に少佐に昇進した. ユエルは彼を"若きナポレオン"と呼んだが,同時代の人々は彼の若さと小さな身長を"少年少佐"と呼んだ. 彼はエドワード・ジョンソン少将の少佐・スノーデン・アンドリュース大隊の将校となった.