1923 年 から 1924 年 まで,フェルプス は ニューヨーク 市 の 退役軍人 事務 担当 副 委員 の 職 を 務め まし た. 彼は,1924,1925,1926,1927および1928年にグリーンウィッチ・ビレッジからニューヨーク州議会の共和党員として務めた. 1928年,彼はアメリカ合衆国下院議員候補に立候補したが,ニューヨーク州初の議員となるルース・ベイカー・プラットに敗れた. 1932年の共和党全国大会の後,フェルプスは民主党員となり,1936年,1956年の
1960年の民主党全国大会に代表として参加した. 1937年と1938年に再び州議会 (ニューヨーク郡,第3区) の議員となり,1939年から1942年までニューヨーク州上院 (13区) の議員を務めた.