V roce 1898 Rynning zjistil, že válka se Španělskem začala a že jeho starý přítel, plukovník Leonard Wood, zřizoval dobrovolný kavalerijní pluk, který se později stal známým jako Rough Riders Theodore Roosevelta. Vstoupil do armády jako voják a vrátil se z války jako druhý poručík v jednotce B, 1. dobrovolného kavaleristického pluku Spojených států. Během bitvy u San Juan Heights
Rynning převzal velení americké linie po smrti kapitána Buckeyho O'Neilla. O pár minut později vedl Rough Riders na Kettle Hill a byl prvním Američanem, který dosáhl vrcholu. Pod silnou palbou z nedalekého kopce San Huan, Rynning nařídil svým mužům mávat vlajkou pluku, aby shromáždili ostatní a bylo to během této doby, kdy byla vlajka špatně vyvrtána. Vlajka je nyní uchovávána oddělením knihovny a archivů ve státní budově v Phoenixu v Arizoně. Rynning se poté připojil k Theodore Rooseveltovi při útoku na San Juan Hill, který bitvu ukončil americkým vítězstvím.