Speer buvo išrinktas kaip demokratas į keturiasdešimt antrąjį ir keturiasdešimt trečiąjį Kongresus. 1874 m. jis nebuvo renominuotas. 1872 m. jis buvo demokratų nacionalinių konvencijų delegatas.
1880 m. Jis vėl pradėjo praktiką ir 1876 m. tapo vienu iš "Huntingdon Monitor" savininkų. 1880 m. jis buvo nesėkmingai kandidatu į keturiasdešimt septintąjį Kongresą. Jis mirė Niujorke 1890 metais. Jis palaidotas Riverview kapinėse Huntingdone, Pensilvanijoje.