ধারনা করা হয় যে, মন্দিরটি আনারি নামের এক ব্রাহ্মণ কর্তৃক নির্মিত হয়। তিনি এই যশোরেশ্বরী শক্তিপীঠের ১০০টি দরজা নির্মাণ করেন। কিন্তু মন্দিরটি কখন নির্মিত হয় তা জানা যায়নি। পরবর্তীকালে লক্ষ্মণ সেন ও প্রতাপাদিত্য কর্তৃক তাদের রাজত্বকালে এটির সংস্কার করা হয়েছিল।কথায় আছে যে মহারাজা প্রতাপাদিত্য়ের সেনাপতি এখানকার জঙ্গল থেকে একটি আলৌকিক আলোর রেখা বের হয়ে মানুষের হাতুর তালুর আকারের একটি পাথরখণ্ডের উপর পড়তে দেখেন। পরবর্তীতে প্রতাপদিত্ত্য কালীর পূজা করতে আরম্ভ করেন এবং এই কালী মন্দিরটি নির্মাণ করেন।যশোরেশ্বরী কালী দর্শনের নাম করে সেনাপতি মান সিংহ প্রতাপাদিত্যের দুর্গের নকশা নিয়ে যান। পরে আক্রমণ করে মোগলরা সেটি জয়লাভও করে। কালীর বিগ্রহের সঙ্গে প্রতাপাদিত্য এবং তার সেনাপতি ও পরামশর্দাতা শঙ্কর চট্টোপাধ্যায়কে বন্দি করেন মান সিংহ।জমিদার বাড়ির মধ্যে অবস্থিত ছিল। তৎকালিন     জমিদার বাবু  মায়ের নামে প্রায় ২০০ বিঘা জমি দান করেছিলেন। কিন্তু আজ প্রভাবশালী ভুমিদস্যুরা জাল দলিল সৃষ্টি করে মায়ের মন্দীরের সব জমি দখল করে ভোগদখল করছে।আজ মায়ের মন্দিরের ইটের দেওয়াল খসে পড়ছে।

'নাটমন্দির' ও স্থাপত্য
পূজা
ইতিহাস
গুরুত্ব