Completa la següent frase: El 1850, Penniman va derrotar el demòcrata Alexander W. Buel per ser elegit com a Whig del 1r districte del Congrés de Michigan al 32è Congrés, servint des del 4 de març de 1851 fins al 3 de març de 1853. Va ser el primer ciutadà de Plymouth elegit al Congrés dels Estats Units. No va ser candidat a la reelecció el 1852. Va ser membre de la convenció que es va reunir sota els roures a Jackson, Michigan, el 6 de juliol de 1854, en l'organització del Partit Republicà a Michigan. Va ser delegat a
Convenció Nacional Republicana de 1856 de Michigan.