明治・大正ころまでの下町には江戸の名残がありました。大正12年(1923)の関東大震災、昭和20年(1945)の戦災によって、ほとんどその面影をなくし、さらに目覚しい復興を遂げた戦後、特に昭和30年代後半には東京オリンピックを契機とする再開発が積極的に進められ、街はすっかり様変わりしました。人びとの暮らしもまた時代とともに変化し、便利さを取り入れた代わりに、古い時代の大切なものが忘れられようとしていました。古き良き下町の文化が失われつつあることに、憂いの声が上がったのは昭和40年代のことでした。それは次第に下町を愛する人びとの間に広がり、やがて庶民の歴史である下町の大切な記憶を次の世代へ伝えるための資料館設立の構想が生まれたのです。これを実現するために台東区内外からたくさんの貴重な資料が寄贈されました。昭和55年(1980)10月1日に、ここ不忍池畔に開館いたしました。