இப்படி வளர்ச்சியை நோக்கிப் போய்க்கொண்டு இருந்த செல்வராஜின் அரசியல் கிராஃப், அடுத்து சரிவைச் சந்திக்க ஆரம்பித்தது. அடுத்து வந்த நாடாளுமன்றத் தேர்தலில் திருச்சியில் போட்டியிட்ட செல்வராஜுக்குத் தோல்வி! அடுத்து 89-ம் ஆண்டு நடந்த சட்டமன்றத் தேர்தலில் முசிறி சட்டமன்றத் தொகுதிக்கு செல்வராஜுக்கு ஸீட் கொடுக்கப்பட்டது. லால்குடி வேட்பாளர் கே.என்.நேரு. அந்தத் தேர்தலில் நேரு ஜெயிக்க... செல்வராஜுக்குத் தோல்வி. திருச்சிக்கு அமைச்சரவையில் பிரதிநிதித்துவம் தரப்பட வேண்டும் என்பதற்காக நேருவுக்கு அமைச்சர் பதவி தரப்பட்டது. முத்தரையர் சமூகத்தைச் சேர்ந்த ஒருவருக்கு மந்திரி பதவி தரப்பட வேண்டும் என்பதற்காக புதுக்கோட்டை மாவட்டத்தைச் சேர்ந்த சந்திரசேகருக்கு அமைச்சர் பதவி வழங்கப்பட்டது. இப்படி இரு வகையிலும் செல்வராஜுக்குப் பாதிப்பு. 91-ம் ஆண்டு திருச்சி தொகுதிக்கு ஸீட் கொடுக்கப்பட, இம்முறையும் தோல்வி.