He left the Whig caucus in December 1851, when his colleagues would not join him in seeking the repeal of the offensive elements of the Compromise, though he supported its unsuccessful 1852 candidate for president, General Winfield Scott.
El a plecat din grupul parlamentar Whig în decembrie 1851, când colegii lui nu i s-au alăturat în încercarea de abrogare a elementelor celor mai incomode ale Compromisului, deși l-a susținut pe candidatul lor care în 1852 nu a reușit să fie ales președinte, generalul Winfield Scott⁠(d).