De 1923 a 1924, Phelps ocupou o cargo de Comisionado Adjunto de Asuntos de Veteranos para a cidade de Nova York. Foi membro republicano da Asemblea Estatal de Nova York por Greenwich Village en 1924, 1925, 1926, 1927 e 1928. En 1928, concorreu a unha nomeación para a Cámara de Representantes dos Estados Unidos, pero perdeu a primaria contra Ruth Baker Pratt, que se convertería na primeira congresista de Nova York. Despois da Convención Nacional Republicana de 1932, Phelps converteuse nun demócrata, e viaxou a 1936, 1956
, e 1960 Convencións Nacionais Democráticas como delegado. Foi de novo membro da Asemblea Estatal (New York Co., 3a D.) en 1937 e 1938; e membro do Senado do Estado de Nova York (13a D.) de 1939 a 1942, sentado nas lexislaturas do Estado de Nova York 162a e 163a.