The Know Nothing National Convention tilnefndu Fillmore til forseta, en deilur um afstöðu flokksins til þrælahalds ollu mörgum Northern Know-Nothings að yfirgefa flokkinn. Á meðan, 1856 Repúblikanska þjóðarsamkomulagið
John C. Frémont var valinn forsetaframbjóðandi flokksins. Afsögn margra norræna óþekkinga, ásamt því að Charles Sumner var sleginn og fleiri atburðir sem kveiktu á spennu á milli deilda, styrktu Repúblikana í öllu norðri. Á meðan á framboði sínu stóð minnkaði Fillmore málefni innfæddra í stað þess að reyna að nota framboð sitt sem vettvang fyrir stéttarfélagshyggju og endurreisn Whig flokksins.