Smith oli aikaisemmin pyrkinyt demokraattien ehdokkaaksi vuoden 1920 demokraattien yleiskokouksessa.
, jossa hänen nimityksensä sai virkistävän toissijaisen puheen Franklin Delano Rooseveltiltä, joka toimi myös Smithin kerrospäällikkönä vuoden 1920 konventissa. New Yorkin demokraattinen puolue valitsi Rooseveltin, joka oli kampanjoinut Smithin kuvernöörikampanjaa varten vuonna 1918, toiseksi Smithin ehdokkaaksi vuonna 1920. Yksi tähän vaikuttanut tekijä oli Rooseveltin ystävällinen suhde Tammany Hallin johtajaan Charles Murphyn kanssa. Vaikka Smith oli menettänyt vuoden 1920 ehdokkuuden, Roosevelt nimitettiin itse James M. Coxin varapresidenttiehdokkuudeksi.