Shermanas pasitraukė iš viešojo gyvenimo, atsistatydinus iš valstybės sekretoriaus. Išskyrus vieną dieną, Šermanas praleido keturiasdešimt dvejus metus, keturis mėnesius ir dvidešimt dvi dienas vyriausybės tarnyboje. Jis duodavo keletą interviu, kuriuose nesutinka su administracijos politika aneksuoti Puerto Riką ir Filipinus
- Taip. Vėliau tais pačiais metais jo žmona Margareta patyrė insultą ir po dvejų metų 1900 m. birželio 5 d. mirė. Šermanas ir toliau keitėsi Mansfieldo ir Vašingtono namuose. Jis daugiausia liko nepolitikoje, išskyrus laišką, kurį jis parašė patvirtindamas George'ą K. Nash'ą Ohajo gubernatoriui 1899 m. Šermanas mirė savo namuose Vašingtone 1900 m. spalio 22 d. Drauge su dukra, giminaičiais ir draugais. Po laidotuvių Šv. Jono Episkopalinėje bažnyčioje Vašingtone, jis buvo palaidotas Mansfieldo miesto kapinėse kartu su žmona.