S odtrhnutím jedenástich južných štátov a vypuknutím občianskej vojny, sa Miller pripojil k armáde Únie. Dňa 27. augusta 1861 guvernér Oliver P. Morton poveril Millera ako plukovníka 29. indiánskej pechoty. Po výcviku bol pluk pridelený do Kirkovej brigády v divízii Alexandra M. McCooka v Buellovej armáde z Ohia a pochodoval do Tennessee. Miller bol v akcii druhý deň.
Bitka pri Shiloh, ako aj počas následného obliehania Korintu. Miller viedol svoj regiment cez severnú Alabamu a Tennessee a prenasledoval Braxtona Bragga cez Kentucky. Miller velil brigádu Jamesa Negleyho počas bitky pri rieke Stones koncom decembra 1862. Na druhý deň bitky Miller viedol federálny protiútok cez rieku Stones, ktorý odvrátil útok John C. Breckinridge. Počas útoku bol Miller zranený v krku.