Completar a seguinte frase: En 1850, Penniman derrotou ao demócrata Alexander W. Buel para ser elixido como whig do 1o distrito do Congreso de Michigan para o Trinta e segundo Congreso, servindo desde o 4 de marzo de 1851 ata o 3 de marzo de 1853. Foi o primeiro cidadán de Plymouth elixido para o Congreso dos Estados Unidos. Non foi candidato á reelección en 1852. Foi membro da convención que se reuniu baixo os carballos en Jackson, Michigan, o 6 de xullo de 1854, na organización do Partido Republicano en Michigan. Foi delegado de
Convención Nacional Republicana de 1856 de Michigan.