En 1850, Penniman derrotou ao demócrata Alexander W. Buel para ser elixido como Whig do 1o distrito do Congreso de Michigan para o 32o Congreso, servindo desde o 4 de marzo de 1851 ata o 3 de marzo de 1853. Foi o primeiro cidadán de Plymouth elixido para o Congreso dos Estados Unidos. Non foi candidato á reelección en 1852. Foi membro da convención que se reuniu baixo os carballos en Jackson, Michigan, o 6 de xullo de 1854, na organización do Partido Republicano en Michigan. Foi delegado na Convención Nacional Republicana de 1856
de Michigan.