Í 1850 sigraði Penniman núverandi demókrata Alexander W. Buel og var kjörinn sem Whig frá 1. þinghéraði Michigan til 32. þingsins, og starfaði frá 4. mars 1851 til 3. mars 1853. Hann var fyrsti borgari Plymouth sem var kjörinn í þing Bandaríkjanna. Hann var ekki frambjóðandi til endurnefningar árið 1852. Hann var meðlimur ráðstefnunnar sem var haldin undir eikunum í Jackson, Michigan, 6. júlí 1854, á stofnun Repúblikanaflokksins í Michigan. Hann var fulltrúi á fulltrúaráðstefnu Repúblikana í 1856
frá Michigan.