El 22 d'agost de 1861, Rice es va unir al 14è Regiment d'Infanteria de Massachusetts i va ser nomenat capità. Aviat va ser transferit al 19è Regiment d'Infanteria de Massachusetts per comandar la Companyia F. Amb aquesta unitat va participar en les batalles de la Guerra Civil de: Ball's Bluff, Assegurament de Yorktown, Fair Oaks
, Savage Station, Glendale, i Malvern Hill. Va ser ascendit al rang de major el 7 de setembre de 1862 i va lluitar a Antietam més tard al setembre de 1862, i la batalla de Fredericksburg l'11-13 de desembre de 1862. Per les seves accions a la Batalla de Gettysburg en rebutjar la càrrega de Pickett, va ser guardonat amb la Medalla d'Honor el 1891. Va ser ascendit a tinent coronel el 28 de febrer de 1864, va comandar el seu regiment a la Campanya de Rapidan, les batalles de Bristoe Station, Blackburn's Ford, Robinson's Cross Roads i Mine Run. Va comandar el 19è a la Batalla del Desert el 5 de maig de 1864 i a la batalla de Laurel Hill el 8 de maig de 1864. Va ser ferit i capturat en l'assalt a la Batalla de Spotsylvania Court House, el 12 de maig de 1864. Mentre era transportat com a presoner el 23 de maig, va escapar talant la porta d'un vagó de mercaderies i saltant d'ell mentre el tren anava a 15 mph. Va arribar a les línies de la Unió, prop del riu Ohio, vint-i-tres dies més tard. Va ser ascendit a coronel el 28 de juliol de 1864.