लिंगई माता मंदिर एक छोटी सी पहाड़ी में हैं. यहां चट्टान के ऊपर एक बड़ा सा पत्थर है. बाहर से बिल्कुल सामान्य दिखने वाला यह पत्थर अंदर से स्तूपाकार है, मानो जैसे किसी कटोरे को उलट दिया गया हो. इस गुफा का एक ही प्रवेश द्वार है जो सुरंगनुमा है. जहां बैठकर या लेटकर ही प्रवेश किया जा सकता है. गुफा के अंदर एक साथ 15 से 20 लोग ही आ पाते हैं.