Frá 1923 til 1924 gegndi Phelps stöðu aðstoðarfulltrúa í málefnum veterana í New York. Hann starfaði sem repúblikanski þingmaður New York-ríkisþingsins frá Greenwich Village árið 1924, 1925, 1926, 1927 og 1928. Árið 1928 bauð hann sig fram til fulltrúadeildar Bandaríkjanna, en tapaði í forvali gegn Ruth Baker Pratt, sem varð fyrsta þingkonan frá New York. Eftir Þjóðarsáttmála Repúblikana árið 1932 varð Phelps demókrati og ferðaðist til þingsins 1936, 1956
, og 1960 Demókrata þjóðarsamkomur sem fulltrúi. Hann var aftur meðlimur í ríkisþinginu (New York Co., 3. D.) árið 1937 og 1938; og meðlimur í öldungadeild New York ríkisins (13. D.) frá 1939 til 1942, sitjandi í 162. og 163. löggjafarþingi New York ríkisins.