Con la secesión de once estados del sur y el estallido de la Guerra Civil, Miller se unió al Ejército de la Unión. El 27 de agosto de 1861, el gobernador Oliver P. Morton comisionó a Miller como coronel de la 29a Infantería de Indiana. Después del entrenamiento, el regimiento fue asignado a la Brigada de Kirk en la división de Alexander M. McCook en el Ejército de Ohio de Buell y marchó hacia Tennessee. Miller estuvo en acción en el segundo día de la batalla de Shiloh
, así como durante el posterior asedio de Corinto. Miller condujo a su regimiento a través del norte de Alabama y Tennessee y persiguió a Braxton Bragg a través de Kentucky. Miller comandó una brigada bajo James Negley durante la Batalla de Stones River a fines de diciembre de 1862. En el segundo día de la batalla, Miller encabezó el contraataque federal a través del río Stones que rechazó el ataque confederado de John C. Breckinridge. Durante este ataque Miller fue herido en el cuello.