প্রবাদ অনুসারে 'মধু' এবং 'কৈটভ' নামের দুটি অসুর বেদের সৃষ্টির সময়ে ব্রহ্মার থেকে সেগুলি চুরি করে নেয়। ব্রহ্মা বিষ্ণুকে যোগনিদ্রা থেকে জাগিয়ে বেদ উদ্ধারের জন্য অনুরোধ করেন। তখন বিষ্ণু 'হয়গ্রীবে'র রূপ ধারণ করে রসাতলে যান এবং বেদসমূহ উদ্ধার করে এনে ব্রহ্মাকে দেন। এর পরে বিষ্ণু উত্তর-পূর্বে এসে হয়গ্রীব রূপে শুয়ে পড়েন। মধু এবং কৈটভ ঘুরে এসে বিষ্ণুকে যুদ্ধ করতে বলে। সেই যুদ্ধে বিষ্ণু অসুর দুজনকে পরাস্ত করে প্রাণনাশ করেন।

কালিকা পুরাণ মতে, এই তীর্থস্থানের প্রতিষ্ঠাতা ঔর্বঋষি। ভগবান বিষ্ণু ঔর্বঋষির তপস্যা ভঙ্গকারী জ্বরাসুর, হয়াসুর ইত্যাদি পাঁচজন অসুরকে বধ করে হয়গ্রীব মাধব নামের এই পর্বতে অবস্থান করে আছেন।

উপাসনা
ইতিহাস
গঠন
কিংবদন্তি