よると、宝亀元年(770年)石見で死去した人麿の遺骸をこの地に葬り、その傍らに当社を建立したと伝える。柿下村のほとりに人麿の墳あり。柿本寺とよぶ草室あり。柿下朝臣人麿は此所にして生まれ給いしより古墳あり、と村老は言い伝え侍りき。かの朝臣の生所をかきもわかたれず。敏達天皇の御宇にあたり、かの門べに柿の樹あり、是れよりなん柿下の氏を給うと云々。思うに敏達天皇は十市郡磐余幸玉の宮におわしましけると日本紀に見えたり。葛下郡と十市郡は別郡といえども其の程、遠くもあらざりければ此所や柿本の氏を給いける跡にも侍りなん。説は古今集潅頂(かんちょう)にいわく、石見の国に家名という人の後・の柿の樹より人麿化生し給いしより柿本(かきのもと)の氏をぞ賜りける。かの朝臣なん孝昭天皇より世々の末葉にて侍るよしかけり。いづくの生まれ、いづれのおわり所さだかならざると文どもにも見え侍る。あれば添上郡(そうのかみのこおり)葛下(かつらのしもの)郡、吉野郡にありけるも人麿の墳にこそと思い侍れ。人麿の事はつたえを得ざりつればしらず、くわしくは此所の石文にあり。柿本山影現寺と同じ敷地内にある。本殿は柿色よりは濃い目の朱色のようである。以前は陰暦3月18日に影現寺の鐘太鼓を打鳴らして会式をおこなうチンポンカンポン祭があったそうだ。