Baler foi elixido como un demócrata para o 58o Congreso, e foi un representante dos Estados Unidos para o sexto distrito de Nova York desde o 4 de marzo de 1903 ata o 3 de marzo de 1905. O seu único mandato foi marcado por controversia xa que Baker mantivo a súa filosofía reformista, e rapidamente gañou o alcume de "No Pass" Baker por rexeitar os pases de ferrocarril gratuítos que eran distribuídos regularmente aos lexisladores polo B & O Railroad. Un pacifista, introduciu unha lexislación para disolver a Academia Militar dos Estados Unidos en West Point e outra moción condenando o "Domingo Sangrento"
masacre en San Petersburgo, Rusia.