யாதவப் பிரகாசர் என்பவரிடம் முதலில் ராமானுஜர் சீடராக இருந்ததாகவும், ஆனால் அவரின் கொள்கைகளோடு ராமானுஜர் உடன்படாமல் போனதால் அவரை காசிக்கு அழைத்துச்சென்று, காஞ்சி சங்கராச்சாரியார் வரதராஜப் பெருமாள் கோயில் மேலாளர் சங்கரராமனை போட்டுத்தள்ளியது போல போட்டுத் தள்ள திட்டம் தீட்டினார் என்றும் அதை எப்படியோ மோப்பம் பிடித்த ராமானுஜர் தப்பிவந்து திரும்ப அவரிடமே சீடராக சேர்ந்தார் என்றும் சொல்லப்படுகின்றது. ஆனால் இருவருக்கும் ஒத்துவராததால் ராமானுஜரை அவர் வெளியேற்றிவிட்டாராம். இதன் பின் திருக்கச்சி நம்பிகள் என்ற பிராமணரல்லாத ஒருவரை ராமானுஜர் குருவாக ஏற்றுக் கொண்டாதவும் கூறப்படுகின்றது. ஒரு நாள் தனது இல்லத்திற்கு சாப்பிட தனது குரு திருக்கச்சி நம்பியை ராமானுஜர் அழைத்திருக்கின்றார். அதை நம்பி அவரும் ராமானுஜர் வீட்டிற்கு வந்து சாப்பிட்டிருக்கின்றார். ஆனால் ராமானுஜர் மனைவி அவர் சாப்பிட்ட இலையைக் கையால் எடுக்காமல் கோலால் தள்ளி அவர் உட்கார்ந்த இடத்தை சாணத்தால் மொழுகி சுத்தப்படுத்தி இருக்கின்றார். இதைப் பார்த்த ராமானுஜர் கொதித்துப்போய் அவர் மனைவியை அவரது பிறந்த வீட்டிற்கு அனுப்பிவிட்டு துறவறம் மேற்கொண்டார் என்று சொல்கின்றார்கள்.