Speer werd verkozen als een Democrat naar het 42e en 43e Congres. Hij was geen kandidaat voor herbenoeming in 1874. Hij was een afgevaardigde van de Democratische Nationale Conventies in 1872 en 1880
Ik weet het. Hij hervatte zijn advocatenpraktijk en werd in 1876 een van de eigenaars van de "Huntingdon Monitor". Hij was een onsuccesvolle kandidaat voor de verkiezing in 1880 voor het 47e Congres. Hij stierf in New York City in 1890. De begrafenis is in Riverview Cemetery in Huntingdon, Pennsylvania.