1850 m. Pennimanas nugalėjo dabartinį demokratą Aleksandrą W. Buelą, kad būtų išrinktas kaip Whig iš Mičigano 1-ojo kongreso apygardo į trisdešimt antrąjį Kongresą, kuris tarnavo nuo 1851 m. kovo 4 d. Iki 1853 m. kovo 3 d. Jis buvo pirmasis Plimuto pilietis, išrinktas į Jungtinių Valstijų Kongresą. 1852 m. jis nebuvo kandidatas į pirmininko pareigas. 1854 m. liepos 6 d. jis buvo Mičigano respublikonų partijos suvažiavime, vykusiame Džeksonas, Mičigano valstijoje. Jis buvo delegatas į 1856 m. Respublikonų nacionalinį kongresą
iš Mičigano.