बहुत समय पहले की बात है पाली गांव में एक सेठ दंपति रहते थे। सेठ का नाम कल्याण तो उनकी पत्नी का नाम इंदुवती था। उनका एक पुत्र भी था जो भगवान गणेश का परमभक्त था। नाम था बल्लाल। उसकी भक्ति से पिता खुश नहीं थे, वह चाहते थे कि बल्लाल उनके कामकाज में हाथ बंटाएं लेकिन वह स्वयं तो सारा दिन भक्ति में लीन रहता ही था साथ ही और भी हम उम्र दोस्तों को भगवान गणेश की महिमा सुनाता रहता और उन्हें भी भक्ति के लिये प्रेरित करता। एक दिन उसके दोस्तों के माता-पिता सेठ कल्याण के यहां पंहुचे और शिकायत की कि बल्लाल खुद तो कुछ करता नहीं है साथ ही वह उनके पुत्रों को भी बिगाड़ रहा है। फिर क्या था सेठ का पारा सातवें आसमान पर वह बल्लाल को ढूंढते हुए जंगल में जा पंहुचे जहां वह भगवान गणेश की आराधना कर रहा था, उन्होंने उसे खूब पीटा यहां तक भगवान गणेश की जिस प्रतिमा की वह पूजा कर रहा था उसे भी उन्होनें क्षतिग्रस्त करने का प्रयास किया। उन्होंने प्रतिमा को उठाकर दूर फेंक दिया और बल्लाल को पेड़ से बांधकर वहीं मरने के लिये छोड़ दिया हालांकि बल्लाल अब भी शांत था और भगवान गणेश के ध्यान में ही खोया था। कहते हैं बल्लाल की निष्ठा व भक्ति से प्रसन्न हो भगवान गणेश ब्राह्मण के वेश में उसके सामने प्रकट हुए और उससे बंधन से मुक्त कर कहा कि वे उसकी भक्ति से प्रसन्न हैं जो मांगना चाहते हो मांगो। तब उसने कहा कि मुझे आपकी शरण के अलावा कुछ नहीं चाहिये मेरी इतनी इच्छा है कि आप इसी क्षेत्र में वास करें। मान्यता है कि भगवान श्री गणेश ने उनकी इच्छा पुरी करते हुए स्वयं को एक पाषाण प्रतिमा में स्थापित कर लिया। यहीं पर उनके मंदिर का निर्माण भी किया गया। इसी मंदिर के समीप बल्लाल के पिता ने जिस प्रतिमा को फेंका था उसे ढूंडी विनायक के नाम से जाना गया। आज भी लोग बल्लालेश्वर के दर्शन से पहले ढूण्ढी विनायक की पूजा करते हैं।