Sherman s-a retras din viaţa publică după ce a demisionat din funcţia de secretar de stat. Cu excepţia unei singure zile, Sherman a petrecut 42 de ani, 4 luni şi 22 de zile în serviciul guvernului. A dat câteva interviuri în care nu a fost de acord cu politica administraţiei de anexare a Puerto Rico şi
Filipine. Mai târziu în acel an, soţia sa, Margaret, a suferit un accident vascular cerebral; ea a murit doi ani mai târziu, pe 5 iunie 1900. Sherman a continuat să alterneze între casele din Mansfield și Washington. El a rămas în mare parte în afara politicii, cu excepția unei scrisori pe care a scris-o susținând-o pe George K. Nash pentru postul de guvernator al statului Ohio în 1899. Sherman a murit la domiciliul său din Washington pe 22 octombrie 1900, în compania fiicei sale, rudelor și prietenilor. După o înmormântare la Biserica Episcopală St. John din Washington, a fost înmormântat în Mansfield City Cemetery împreună cu soția sa.