A déli államok elszakadása és a polgárháború kitörése után Miller csatlakozott az Unió hadseregéhez. 1861. augusztus 27-én Oliver P. Morton kormányzó kinevezte Miller-t a 29. indianai gyalogsági ezredesnek. A kiképzés után a ezredet a Kirk's Brigade-hez rendelték Alexander M. McCook divíziójába Buell's Army of the Ohio-ban, és Tennessee-be vonultak. Miller részt vett a Shiloh-i csata második napján
, valamint a korinthusi ostrom alatt. Miller az alakulatát Alabama és Tennessee északi részén vezette, és Kentucky-n keresztül üldözte Braxton Bragget. Miller egy brigádot irányított James Negley parancsnoksága alatt a Stones-folyó csata során 1862. december végén. A csata második napján Miller vezette a Szövetségi ellentámadást a Stones folyón át, amely visszaverte John C. Breckinridge Konföderációs támadását. Ebben a támadásban Miller a nyakában sérült meg.