Sherman lopetti julkisen elämänsä valtiosihteerinä. Sherman oli viettänyt edelliset 42 vuotta, 4 kuukautta ja 22 päivää valtion palveluksessa, paitsi yhden päivän. Hän antoi muutaman haastattelun, joissa hän oli eri mieltä hallinnon politiikasta liittää Puerto Rico ja
Filippiinit. Myöhemmin samana vuonna hänen vaimonsa Margaret sai aivohalvauksen; hän kuoli kaksi vuotta myöhemmin 5. kesäkuuta 1900. Sherman jatkoi vuorotellen Mansfieldin ja Washingtonin talojen välillä. Hän pysyi politiikan ulkopuolella lukuun ottamatta kirjeen, jonka hän kirjoitti tukeakseen George K. Nashia Ohion kuvernööriksi vuonna 1899. Sherman kuoli kotonaan Washingtonissa 22. lokakuuta 1900 tyttärensä, sukulaistensa ja ystäviensä seurassa. Hänet haudattiin St. John's Episcopal Churchissa Washingtonissa, ja hänet haudattiin Mansfield Cityn hautausmaalle vaimonsa kanssa.