কথিত আছে, প্রায় ৫০ বছর আগে কুলিক নদীর ধারে শুরু হয়েছিল সাধনা। পাঞ্জাব থেকে এক সাধু এসে বটতলায় সাধনা শুরু করেছিলেন। সেখানেই সিদ্ধিলাভ করেন তিনি। সিদ্ধিলাভের পরে পঞ্চমুন্ডির আসনে কালী সাধনা শুরু করেন তিনি। এরপরে দিনাজপুরের রাজা স্বপ্নে মায়ের আদেশ পান। সেই আদেশ মেনে প্রতিষ্ঠা হওয়া পঞ্চমুন্ডি আসন ঘিরে কালী মন্দির তৈরি করেছিলেন তিনি। জানা যায়, এই কালীমন্দিরে মূর্তি স্থাপন করা হয় ১২১৬ বঙ্গাব্দে। ওই বছর জ্যৈষ্ঠ শুক্লা দশমী তিথিতে তারাপীঠের মহাসাধক বামাক্ষ্যাপার বংশধর জানকিনাথ চট্টোপাধ্যায় কষ্টিপাথরের কালী মূর্তি নিয়ে এসে এই পঞ্চমুন্ডির আসনে প্রতিষ্ঠা করেন। বারানসী থেকে নিয়ে এসেছিলেন সেই কষ্টিপাথরের মূর্তি। তারপর ২১৬ বছর পর ওই কালীমন্দির হয়ে ওঠে তন্ত্রসাধনার পীঠস্থান। সেখানে শুরু হয় তন্ত্রসাধানা। মুখে মুখে সর্বত্র ছড়িয়ে পড়ে মায়ের মাহাত্ম্য। মায়ের নূপুরের আওয়াজও নাকি শুনতে পাওয়া যায়।

আগের নিয়ম মনেই আজও পুজে হয় মায়ের। শেয়ালের ডাক শোনার পরেই কুলিক নদীর ঘাট থেকে জল তোলা হয়। সেই জল নিয়ে এসে পুজো শুরু করেন মন্দিরের সেবায়তরা। বছরের ৪টি বড় তিথিতে এখানে বড় করে পুজো হয়। সাধক বামাক্ষ্যাপার বংশধর মৃত্যুঞ্জয় চট্টোপাধ্যায়ের মৃত্যুর পরে তাঁর আত্মীয় রাজকুমার চট্টোপাধ্যায় বীরভূম থেকে এসে পুজো করেন। ভক্তদের দান থেকেই এই পুজো হয়। কোনওরকম আলাদা করে চাঁদা তোলা হয় না মায়ের জন্য।