通称は彦介のちに守人、号は蓬室。諏訪藩出身、のちに脱藩。同藩士飯島義道の娘・諦子の子として江戸・芝の諏訪藩江戸藩邸に生まれる。はじめ、服部元済に儒学を学ぶが、本居宣長の著書を読んで感激して国学を志す。宣長も平田篤胤も既に病死しており、そこで篤胤の実子・平田鐵胤の許しを得て篤胤の死後の門人となり、鐵胤に国学を学んだ。後に和歌を海野游翁に学んだ。嘉永5年(1852年)26歳のときに『日本書紀』の注釈を志して「日本書紀通釈」の執筆を始める。その後、尊王攘夷運動に参加、元治元年(1864年)の天狗党の乱において自藩が和田峠で敗退した直後、下諏訪宿の浪士軍の宿所を訪ね、伊那谷通行を進言した。慶応2年(1866年)に家督を長男・武夫に譲って脱藩し京都に上り、岩倉具視の元に寄食する。慶応4年、官軍の先鋒隊を名乗る高松隊が信濃入りすると、諏訪大社の神官や伊那谷の国学者たちと共に25名からなる「神祇隊」を編成して従軍した。戊辰戦争では東山道軍に従軍して甲府城攻撃に向かうが、板垣退助の手により無血開城となる。後に攘夷実行のために横浜攻撃に向かうもこれを知った明治政府の怒りを買って免ぜられ、更に故郷に立ち寄ったところ相楽総三が処刑されるところに出会わせて、密かに首級を奪って葬った。した事情から次第に明治新政府と疎遠となり、皇学所に務めるも程なく帰郷する。明治9年(1876年)に改めて大教院に召され、後に国史編纂事業に参加する。