En 1898, Rynning descubriu que a guerra con España comezara e que o seu vello amigo, o coronel Leonard Wood, estaba creando un rexemento de caballería voluntaria, que máis tarde se coñeceu como Rough Riders de Theodore Roosevelt. Enlistou como soldado e volveu da guerra como segundo tenente na Tropa B, 1o Regimiento de Cabalería Voluntaria dos Estados Unidos. Durante a batalla de San Juan Heights
Rynning tomou o mando da liña americana tras a morte do capitán Buckey O'Neill. Poucos minutos despois, liderou os Rough Riders ata Kettle Hill e foi o primeiro estadounidense en chegar á cima. Baixo fortes disparos desde a cercana San Huan Hill, Rynning ordenou aos seus homes que acendesen a bandeira do rexemento para reunir aos outros e foi durante este tempo que a bandeira foi mal perforada. A bandeira está agora preservada polo Departamento de Bibliotecas e Arquivos no edificio do Capitolio do estado en Phoenix, Arizona. Despois diso, Rynning uniuse a Theodore Roosevelt na carga ata San Juan Hill, que rematou a batalla cunha vitoria estadounidense.