本堂の周辺には、仙人の行場であった洞穴が数ヶ所あります。弘法大師が聖地を求めて旅した弘仁6年。岩屋の奥山で行を積み自在に空を飛ぶことのできた女人がいました。仙人は大師に山を献上し往生。大師は2体の不動明王像を刻み石像をこの岩屋の岩窟に封じ込めました。以来山そのものを本尊とする岩屋寺・奥の院。ここに来ると「空気が違う!」とだれもが感じる霊気漂うところです。四国八十八ヶ所の中で唯一車で横付けできないことでも有名。今の世にない静けさと祈りの気配が満ちています。いにしえから永く人々を惹きつける、札所めぐりの折り返し点となっています。本堂の隣に建つ大師堂が平成19年6月18日に国の重要文化財(建造物)に指定されました。寺がある山全体を本尊として奉っています。山門から本堂に行く途中には「日本の自然百選」に選ばれているトチの木の原生林が繁っています。