Met de afscheiding van elf zuidelijke staten en het uitbreken van de Burgeroorlog, ging Miller bij het leger van de Unie. Op 27 augustus 1861 werd Miller door gouverneur Oliver P. Morton benoemd tot kolonel van de 29th Indiana Infantry. Na de training werd het regiment toegewezen aan Kirk's Brigade in Alexander M. McCook's divisie in Buell's Army of the Ohio en marcheerde naar Tennessee. Miller zag actie op de tweede dag van de Slag bij Shiloh.
, evenals tijdens het daaropvolgende beleg van Korinthe. Miller leidde zijn regiment door Noord-Alabama en Tennessee en achtervolgde Braxton Bragg door Kentucky. Miller leidde een brigade onder James Negley tijdens de Slag bij Stones River eind december 1862. Op de tweede dag van de slag leidde Miller de Federale tegenaanval over Stones River die John C. Breckinridge's Zuidelijke aanval afwees. Tijdens deze aanval werd Miller gewond in de nek.