Sargent se zapsal jako voják do 5. vermontské pěchoty, roty D ve Stowe, Vermont v srpnu 1861, a byl pověřen jako první poručík roty K tohoto pluku v květnu 1865. Během své služby zahrnoval: obranu Washingtonu, D.C., Obléhání Yorktownu (1862), Bitvu u Williamsburgu, Bitvu u farmy Garnett a Golding, Bitvu u Savage Station
, Marylandská kampaň, Bitva u Cramptonovy propasti, Bitva u Antietamu, Bitva u Fredericksburgu, Bitva u Salem Church, Bitva u Gettysburgu, Bitva u Wilderess, Bitva u Spotsyvlania Court House, Bitva u Cold Harboru, Bitva u Cedar Creek, Třetí bitva u Petersburgu a Bitva u Appomattox Court House. Byl oceněn americkou medaili cti za jeho ukázku statečnosti dne 2. dubna 1865, během kterého vystoupil a umístil americkou vlajku na parapet pevnosti Konfederace v Petersburgu ve Virginii. Toto ocenění bylo uděleno v říjnu 1891.