S odtržením jedenácti jižních států a vypuknutím občanské války se Miller připojil k armádě Unie. Dne 27. srpna 1861 guvernér Oliver P. Morton pověřil Millera jako plukovníka 29. pěchoty Indiana. Po výcviku byl pluk přidělen do Kirkovy brigády v divizi Alexandra M. McCooka v Buellově armádě Ohio a pochodoval do Tennessee. Miller byl svědkem druhé bitvy u Shiloh
, stejně jako během následného obléhání Korintu. Miller vedl svůj pluk přes severní Alabamu a Tennessee a pronásledoval Braxtona Bragg přes Kentucky. Miller velel brigádě pod vedením Jamese Negleyho během bitvy u řeky Stones koncem prosince 1862. Druhého dne bitvy vedl Miller federální protiútok přes řeku Stones, který odrazil útok konfederace Johna C. Breckinridge. Během útoku byl Miller zraněn v krku.