அகஸ்தீஸ்வரத்தில் குலசேகர விநாயகருக்கு ஆலயம் எழுப்பியபோது, அப்போதைய திருவிதாங்கூர் மன்னன் தடை விதித்தானாம். இதனால் ஆலயம் எழுப்பிய அடியவர்கள், ஒரேநாள் இரவில் குலசேகர விநாயகர் ஆலயத்தைக் கட்டிமுடித்தனர். இதனை அறிந்த மன்னன் இரவோடு இரவாக தம் படைவீரர்களை அனுப்பி ஆலயத்தை இடித்துவிட உத்தரவிட்டான். உடனே புறப்பட்டு வந்த படைவீரர்கள், இத்தலத்தை நெருங்கும் போது ஆலயம் கட்டி முடிக்கப்பட்டு, பூஜைகள் நடைபெற்றுக் கொண்டிருந்தன. பூஜைகள் ஆரம்பமாகியதால், படைவீரர்கள் கோவிலை இடிக்காமல் சென்று விட்டதாக ஒரு செய்தி உள்ளது.