ஆஞ்சநேய பக்தரான ஸ்ரீவியாஸராயர் சுவாமி 1460லிருந்து 1530ம் ஆண்டு வரை வாழ்ந்தார். இவர் நாடு முழுவதும் 732 ஆஞ்சநேயர் கோயில்களைக் கட்டினார். அதில் 89வதாகக் கட்டப்பட்டது தாராபுரம் கோயில். அந்தக் கோயில் கட்டிய இடம் காட்டுப்பகுதியாக இருந்ததால் சுவாமிக்கு காடு ஹனுமந்தராய சுவாமி என்ற பெயர் ஏற்பட்டது. 1810ல், கோவை கலெக்டராக இருந்தவர் ஆங்கிலேயரான டீலன்துரை. இவருக்கு புற்றுநோய் ஏற்பட்டது. அப்போது சிலர் நோய் நீங்க காடு ஹனுமந்தராய சுவாமியை வழிபடுமாறு கூறினர். கலெக்டரும் அவ்வாறே செய்ய நோய் நிவர்த்தியானது. இதற்கு நன்றிக்கடனாக கோயிலில் கர்ப்பக்கிரகத்தை பெரிதாகக் கட்டினார். கோபுரம் கட்ட முயன்ற போது, பக்தர் ஒருவரின் கனவில் சுவாமி தோன்றி, கோபுரம் தேவையில்லை என்று கூறியதால், அந்த முயற்சி கைவிடப்பட்டது.