Em 1824, ele concorreu à presidência e perdeu, mas jogou seus votos eleitorais para John Quincy Adams, que o fez secretário de Estado, pois os jacksonianos denunciaram o que consideravam um "negociado corrupto".