In 1866, like his father and brother he opposed the Congressional Reconstruction policy, and on that issue left the Republican Party.
1866-ban apjához és bátyjához hasonlóan szembeszállt a Kongresszus rekonstrukciós politikájával és az emiatt fellépő nézeteltérés következtében kilépett a Republikánus pártból.