Sherman hætti í opinberum störfum eftir ađ hann hætti sem utanríkisráðherra. Fyrir utan einn dag hafði Sherman eytt fyrri fjörutíu og tveimur árum, fjórum mánuðum og tuttugu og tveimur dögum í ríkisþjónustu. Hann gaf nokkur viðtöl þar sem hann var ósammála stefnu stjórnsýslunnar um að leggja Puerto Rico og
Filippseyjum. Síðar sama ár fékk eiginkona hans, Margaret, heilablóðfall og dó tveimur árum síðar, 5. júní 1900. Sherman hélt áfram að skiptast á milli húsa í Mansfield og Washington. Hann hélt sig að mestu utan pólitík, nema í bréfi sem hann skrifaði og studdi George K. Nash sem ríkisstjóra Ohio árið 1899. Sherman lést á heimili sínu í Washington 22. október 1900 í félagsskap dóttur sinnar, ættingja og vina. Eftir jarðarför í St. John's Episcopal Church í Washington var hann jarðaður í Mansfield City kirkjugarði með konu sinni.