Speer został wybrany jako demokrat do czterdziestego drugiego i czterdziestego trzeciego Kongresu. Nie był kandydatem do renominacji w 1874 roku. Był delegatem na Konwencji Narodowej Partii Demokratycznej w 1872 i
1880 r. Wznowił praktykę prawną i w 1876 roku został jednym z właścicieli "Huntingdon Monitor". Był nieudanym kandydatem do wyborów w 1880 roku do Czterdziestego Siódmego Kongresu. Zmarł w Nowym Jorku w 1890 roku. Pochowano go na cmentarzu Riverview w Huntingdon w Pensylwanii.