飯野藩主が建立したとの伝承があります。堂前に元禄四年(1691)に寄進した御手洗が在ります。表に飯野藩の重臣15名の氏名が列記してあり、この観音堂が飯野藩とかかわりがあったことは確かであると思われます。元禄四年の四の字は亖と書いてあります(四は音が死に通ずるので、きらって亖または二をふたつ横に並べて書くことが行われました)藩主が江戸城へ伺候する時は、大手橋を通り観音堂に拝礼して小糸川に出て船で江戸に上りました。堂前の道路は枡形になっていますが、万一の時に敵の隊列を乱し防禦する為です。就き、この元禄4年(1691)には江戸城奥詰として江戸に在った。飯野には先代保科正景が隠居しており、当地での神仏の信仰も厚かった。