गवई यांचा विद्यार्थी दशेपासून सामाजिक व राजकीय चळवळीत सक्रीय सहभाग होता. ते महाराष्ट्र विधान परिषदेचे इ.स. १९६४ ते १९९४ अशी सलग ३० वर्षे सभासद (आमदार) होते. या कालावधी दरम्यान त्यांनी इ.स. १९६८ ते १९७८ मध्ये महाराष्ट्र विधान परिषदेचे उपसभापती आणि इ.स. १९७८ ते १९८२ मध्ये विधान परिषदेचे सभापती म्हणून कार्य केले. त्यानंतर १२ डिसेंबर १९८६ ते २० डिसेंबर १९८८ आणि २० डिसेंबर १९९० ते १७ जुलै १९९१ या काळात दोनदा विधान परिषदेचे विरोधी पक्षनेतेपद त्यांच्याकडे आले. 

गवई हे संसदेच्या दोन्ही सदनांचे सदस्य होते. इ.स. १९९८ मध्ये, ते १२व्या लोकसभा निवडणुकीत अमरावती लोकसभा मतदारसंघातून विजयी झाले. १० मार्च इ.स. १९९८ ते २६ एप्रिल इ.स. १९९९ पर्यंत ते लोकसभेचे सदस्य (खासदार) होते. त्यानंतर ३ एप्रिल २००० ते २ एप्रिल २००६ दरम्यान ते राज्यसभेचे सभासद (खासदार) होते. राज्यसभेत त्यांनी अरुण शौरी लिखित 'वरशिपिंग फॉल्स गॉड' या पुस्तकात डॉ. बाबासाहेब आंबेडकर यांच्याविषयी आक्षेपार्ह विधाने केली असल्याने या पुस्तकाची पाने फाडून सभागृहात भिरकावली.

गवईंनी तीन राज्यांचे राज्यपाल म्हणून कार्य केलेले आहे. ते सिक्कीमचे राज्यपाल म्हणून १३ जुलै २००६ ते १२ ऑगस्ट २००६ दरम्यान कार्यरत होते, तर बिहारचे राज्यपाल म्हणून २२ जून २००६ ते ९ जुलै २००८ दरम्यान, आणि केरळचे राज्यपाल म्हणून ११ जुलै २००८ ते ७ सप्टेंबर २०११ दरम्यान कार्यरत होते.

सन्मान आणि पुरस्कार
राजकीय कारकीर्द
वैयक्तिक जीवन व शिक्षण
बाह्य दुवे