人吉城の南方に位置している。鎌倉時代以前に草創されたと考えられる。社地の西端に鳥居を構え,長い参道が続き,境内は前面に広場を取って拝殿と覆屋が建っている。本殿三棟は,いずれも一間社流見世棚造の小型の社殿で,覆屋内部に並んでいる。中央殿と左殿は,構造手法や様式から見て天正年間の建立と推定される。右殿は,拝殿や覆屋などとともに,享保12年(1727)の建立と考えられる。鳥居は石造の両部鳥居で,元禄14年(1701)の建立である。岩屋熊野座神社は,三棟の本殿を覆屋内におさめた独特の構成になり,これを中心に社殿がまとまって残り,高い価値がある。本殿の細部は地方的特色を強くあらわし,九州地方における中世に遡る神社本殿の意匠,技法を知る上で,貴重である。