Sua reputação foi prejudicada por sua repetida defesa de nomeados corruptos e pela primeira depressão econômica da era industrial da América (chamada de "Pânico de 1873") que dominou seu segundo mandato.