Speer var kjörinn sem lýðræðismaður á 42. og 43. þingi. Hann var ekki frambjóðandi til endurnefningar árið 1874. Hann var fulltrúi á þjóðarsamkomunum Demókrata í 1872 og
Árið 1880. Hann hóf aftur lögmennsku og árið 1876 varð hann einn eigenda "Huntingdon Monitor". Hann var ósigraður frambjóðandi til kosninga árið 1880 til 47. þingsins. Hann dó í New York árið 1890. Hann er jarðaður á Riverview kirkjugarðinum í Huntingdon í Pennsylvaníu.