共に「文政の三蔵」と呼ばれる。名は倫宗(ともむね)。農民出身であり、幕府隠密をつとめた役人であった。(後の茨城県つくばみらい市)の小貝川のほとりに、農民の子として生まれる。篠箇城主間宮康俊の子孫で間宮清右衛門系統の末裔。当時幕府は利根川東遷事業を行っており、林蔵の生まれた近くで堰(関東三大堰のひとつ、岡堰)の普請を行っていた。この作業に加わった林蔵は幕臣・村上島之丞に地理や算術の才能を見込まれ、後に幕府の下役人となった。)に派遣され同地に来ていた伊能忠敬に測量技術を学び享和3年(1803年)、西蝦夷地(日本海岸およびオホーツク海岸)を測量し、ウルップ島までの地図を作製した。