Speer bol zvolený ako demokrat do 42. a 43. kongresu. V roku 1874 nebol kandidátom na opätovné vymenovanie. Bol delegátom na Demokratickom národnom zjazde v roku 1872 a
1880. Poďme. V roku 1876 sa stal jedným z majiteľov "Huntingdon Monitor". Bol neúspešným kandidátom na voľby v roku 1880 do štyridsiateho siedmeho kongresu. Zomrel v New Yorku v roku 1890. Pohreb je na Riverview cintoríne v Huntingdon, Pennsylvania.