谢尔曼在辞去国务卿职务后退出公众生活. 除了一天外,谢尔曼在政府服务中度过了前四十二年,四个月和二十二天. 他曾在几次采访中表示不同意政府对波多黎各和菲律宾的政策.
没有. 两年后,1900年6月5日,他的妻子玛格丽特患上了中风. 谢尔曼继续在曼斯菲尔德和华盛顿的房屋之间交替工作. 他大部分时间都没有参与政治,除了他在1899年写的一封信支持乔治·K·纳什担任俄<unk>俄州州长. 谢尔曼于1900年10月22日在华盛顿的家中去世, 在华盛顿圣约翰主教教堂举行葬礼后,他与妻子一起被埋葬在曼斯菲尔德市公墓.