(家禄70俵5人扶持)の長男として江戸に生まれる。文久2年(1862年)頃に昌平黌に学び、文久3年(1863年)に書物御用出役として上海視察団に同行している。慶応2年(1866年)頃に騎兵差図役並に配転され、成島柳北の配下になる。共に三人で断髪し、長官から叱責され再び蓄髪したという逸話が残る。慶応4年(1868年)の江戸開城にさいして榎本武揚の江戸湾脱出に同行し、回天丸に乗艦し仙台へ脱出。ここで父と弟に会い、共に箱館戦争に参加。明治2年(1869年)の五稜郭陥落に伴い捕虜となり、翌年に赦免された。明治5年(1872年)頃に文部省編集局に入り教科書編集に従事。らと知り合い、「洋々社」というサークルを結成し機関誌の編集も行う。虚心の号は友人の中村正直が名付けたもので、『新約聖書』「マタイによる福音書」の「心の虚しき者は幸なり」に拠るという。明治33年(1900年)には下谷上根岸に居住し、翌年に胃がんにより逝去する。最誓寺(伊東市音無町)に墓がある。著書[編集]『木曾沿革史』(未刊、1879年)『初学山林書』(青海堂、1882年)『浮世絵師便覧』(蓬枢閣、1893年)『葛飾北斎伝』(蓬枢閣、1893年/造形社、1978年。瀬木慎一校訂/岩波文庫、1999年。