Nuo 1923 iki 1924 metų Phelpsas buvo Niujorko miesto veteranų reikalų komisaro pavaduotojas. 1924 m., 1925 m., 1926 m., 1927 m. ir 1928 m. Jis buvo Niujorko valstijos asamblėjos respublikonų narys iš Grinvičo kaimo. 1928 m. jis kandidatavo į JAV Atstovų Rūmų kandidatūrą, tačiau pralaimėjo Ruth Baker Pratt, kuri tapo pirmąja kongresmenė iš Niujorko. Po 1932 m. Respublikonų nacionalinio suvažiavimo, Phelpsas tapo demokratas ir keliavo į 1936, 1956 m.
, ir 1960 m. Demokratų nacionalinių konvencijų delegatas. 1937 ir 1938 m. jis vėl buvo Niujorko valstijos asamblėjos (Niujorko apygardos, 3-oji D.) narys; ir Niujorko valstijos senato (13-oji D.) narys nuo 1939 iki 1942 m. Jis sėdėjo 162-oje ir 163-oje Niujorko valstijos įstatymų leidybos.