He stayed active in politics, and in 1854, to gain more votes for the anti-slavery movement, he joined the nativist Know Nothing Party.
El a rămas activ în politică, și în 1854, pentru a obține mai multe voturi pentru mișcarea anti-sclavie, s-a alăturat grupării nativiste Know-Nothing.