玉堂は1944年(昭和19)から84歳で亡くなる1957年(昭和32)までこの地で過ごし、作品を残した。この美術館は有志の寄付により、没後4年後の1961年(昭和36)に開館した。枯山水の石庭は有名な京都の竜安寺(りょうあんじ)(京都市右京区)のものを模している。庭のイチョウの黄葉が美しく、東京一だという。隣に画廊レストラン「いもうとや」がある。玉堂が15歳と18歳の時の身のまわりのスケッチがあり、これが精緻な描写で驚く。