Đi hết hang sáng có một lối dẫn xuống sườn thung lũng của rừng cây sưa là đền thờ thần Cao Sơn, vị thần cai quản vùng núi Vũ Lâm. Đinh Bộ Lĩnh từ thuở còn hàn vi đã được mẹ đưa vào sống cạnh đền sơn thần trong động. Khi xây dựng kinh đô Hoa Lư, Đinh Tiên Hoàng Đế cũng cho xây dựng 3 ngôi đền để thờ các vị thần trấn giữ ở 3 vòng thành mà dân gian gọi là Hoa Lư tứ trấn Theo đó, thần Thiên Tôn trấn giữ cửa ngõ vào vòng thành phía Đông, thần Quý Minh trấn giữ cửa ngõ vào thành Nam và thần Cao Sơn trấn giữ cửa ngõ vào vòng thành phía Tây. Ngôi đền thần Cao Sơn hiện tại được tu tạo có kiến trúc gần giống với đền Thánh Nguyễn, cũng xây tựa lưng vào núi, có hành lang ngăn cách với thung lũng ở phía trước. Theo truyền thuyết, thần Cao Sơn là một trong 50 người con của Lạc Long Quân - Âu Cơ. Đền thờ chính của thần ở Phụng Hóa (Nho Quan, Ninh Bình). Vị thần này có công phù trợ quân Lê Tương Dực diệt được Uy Mục, sau cũng được dân làng Kim Liên rước về thờ và được phong là Cao Sơn đại vương trấn phía Nam kinh thành, một trong Thăng Long tứ trấn.
Đi hết hang sáng có một lối dẫn xuống sườn thung lũng của rừng cây sưa là đền thờ thần Cao Sơn, vị thần cai quản vùng núi Vũ Lâm. Khi xây dựng kinh đô Hoa Lư, Đinh Tiên Hoàng Đế cũng cho xây dựng 3 ngôi đền để thờ các vị thần trấn giữ ở 3 vòng thành mà dân gian gọi là Hoa Lư tứ trấn Theo đó, thần Thiên Tôn trấn giữ cửa ngõ vào vòng thành phía Đông, thần Quý Minh trấn giữ cửa ngõ vào thành Nam và thần Cao Sơn trấn giữ cửa ngõ vào vòng thành phía Tây.