Vuonna 1850 Penniman voitti toimikauden demokraatti Alexander W. Buelin ja valittiin Michiganin ensimmäisestä kongressipiirikunnasta Whigiksi kolmekymmentäkaksi kongressille, joka toimi 4. maaliskuuta 1851 - 3. maaliskuuta 1853. Hän oli ensimmäinen Plymouthin kansalainen, joka valittiin Yhdysvaltain kongressille. Hän ei ollut ehdokkaana vuonna 1852. Hän oli jäsen konventissa, joka kokoontui tammien alla Jacksonissa, Michiganissa, 6. heinäkuuta 1854, Michiganin tasavaltalaisen puolueen organisaatiossa. Hän osallistui vuoden 1856 republikaanien yleiskokoukseen.
Michiganista.