Coa secesión de once estados do Sur e o estallido da Guerra Civil, Miller uniuse ao exército da Unión. O 27 de agosto de 1861, o gobernador Oliver P. Morton nomeou a Miller como coronel do 29o de Infantería de Indiana. Despois do adestramento, o rexemento foi asignado á Brigada de Kirk na división de Alexander M. McCook no Exército de Ohio de Buell e marchou a Tennessee. Miller viu acción no segundo día da batalla de Shiloh
, así como durante o posterior asedio de Corinto. Miller liderou o seu rexemento a través do norte de Alabama e Tennessee e perseguiu a Braxton Bragg a través de Kentucky. Miller comandou unha brigada baixo James Negley durante a batalla de Stones River a finais de decembro de 1862. No segundo día da batalla, Miller encabezou o contraataque federal a través do río Stones, que rexeitou o ataque confederado de John C. Breckinridge. Durante esta carga, Miller foi ferido no pescozo.