Speer byl zvolen jako demokrat do čtyřicátého druhého a čtyřicátého třetího kongresu. V roce 1874 nebyl kandidátem na novou nominaci. Byl delegátem na Demokratické národní konvence v roce 1872 a
- V roce 1880. V roce 1876 se stal jedním z majitelů "Huntingdon Monitor". Byl neúspěšným kandidátem na volby v roce 1880 do čtyřicátého sedmého kongresu. Zemřel v New Yorku v roce 1890. Je pohřben na hřbitově Riverview v Huntingdonu v Pensylvánii.