सन 2004 में मधुगिरी सीट पर परमेश्वर ने जदएस के केंचामरैया एच को पराजित किया। सन 2008 में उन्होंने कोरतागेरे से चुनाव जीता.। 27 अक्टूबर 2010 को उन्हें कर्नाटक प्रदेश कांग्रेस कमेटी का अध्यक्ष बनाया गया। साल 2013 में कोरतागेरे सीट पर परमेश्वर को हार का सामना करना पड़ा। इस चुनाव में कांग्रेस की जीत का श्रेय जी परमेश्वर को ही दिया गया था लेकिन पराजित होने के कारण वे मुख्यमंत्री नहीं बन सके जबकि वे इस पद के प्रबल दावेदार थे।