ঐতিহাসিকদের মতে এই মন্দিরটি একটি বৌদ্ধসংঘ। পূর্ব ভারতের হিন্দুধর্মের পুনরুত্থানে বঙ্গদেশের শক্তির আরাধকদের পৃষ্ঠপোষকতায় এটি হিন্দু মন্দিরে রূপান্তরিত হয়েছে। সেই হিসাবে এই মন্দির সেন যুগ বল্লাল সেন আমলে তৈরী হয়। ব্রহ্মপুরাণ হিসাবে আগে বর্গভীমার জন্য তাম্রলিপ্ত একটি বিশিষ্ট সিদ্ধপীঠ হিসেবে প্রকীর্তিত ছিল। পুরাকালে দেবাদিদেব মহাদেব দক্ষযজ্ঞে ব্রহ্মার পুত্র দক্ষ প্রজাপতিকে নিহত করলে ব্রহ্মহত্যার ফলস্বরূপ শরীর বিশ্লিষ্ট দক্ষের মাথা মহাদেবের হাতে সংসৃষ্ট হয়। মহাদেব কোনোপ্রকারেই একে নিজের হাত থেকে বিচ্ছিন্ন না করতে পেরে উদ্দাম নৃত্য করতে থাকেন, তাতেও হাত থেকে বিচ্ছিন্ন করতে না পেরে পৃথিবীর বিভিন্ন তীর্থে পরিভ্রমণ করতে থাকেন। কিন্তু, দক্ষের মাথা তাঁর হাত থেকে কিছুতেই বিশ্লিষ্ট না হওয়ায় তিনি বাধ্য হয়ে বিষ্ণুর নিকটে উপস্থিত হলেন। তখন বিষ্ণু বললেন :

অর্থাৎ সেখানে গমন করলে জীব ক্ষণকাল মধ্যে পাপ থেকে মুক্ত হয়, এবং সকল পাপ বিনষ্ট হয়, তোমায় সে স্থানের মাহাত্ম্য বলব। এই বলে বিষ্ণু বললেন :
অর্থাৎ ভারতবর্ষের দক্ষিণে তমোলিপ্ত (তাম্রলিপ্ত) নামে মহাতীর্থ আছে, তাতে গূঢ়তীর্থ বাস করে। সেখানে স্নান করলে লোকে বৈকুন্ঠে গমন করে। অতএব আপনি তীর্থরাজের দর্শনের জন্য সেখানে যান। মহাদেব একথা ষুনেই তাম্রলিপ্ত হয়ে বর্গভীমা ও বিষ্ণু নারায়ণের মন্দির দুটির মধ্যবর্তী সরসীনীরে অবগাহন করলে দক্ষ শির তাঁর হাত থেকে মুক্ত হল।
পৌরাণিক উপাখ্যান
ইতিহাস
বৌদ্ধমন্দির
মন্দিরের স্থাপত্যরীতির বিবর্তন