His conversion to the Republican Party and his cooperation with his old friend, President Ulysses S. Grant, as well as critical comments he wrote in his memoirs about General Lee's wartime performance, made him anathema to many of his former Confederate colleagues.
Aderarea la Partidul Republican și cooperarea cu vechiul său prieten, președintele Ulysses S. Grant, precum și comentariile critice scrise în memoriile sale, la adresa prestației generalului Lee în război, l-a înstrăinat de mulți dintre foștii săi colegi confederați.