三遊亭圓朝作の「会談乳房榎」にゆかりの寺でもある。天保5年(1834)に刊行された『江戸名所図会』では、高田村付近の様子が、長谷川雪丹による三枚の挿絵付きで紹介されている。「高田」と題された挿絵の中央に南蔵院が配され、境内に薬師(堂)と鶯宿梅が描かれている。鶯宿梅の実から育った木が院内にあると記している。南蔵院の前には右橋、付近には高札場や茶店、道には籠・馬などが描かれている。道を隔てたところには氷川神社がある。これらの位置関係や道の曲がり方などは、現在もほとんど変わっておらず、江戸時代の名残りをとどめている。寛永12年(1636)徳川幕府西の丸祈願所として、神田白壁町に建設、寺領二百石を賜る。正保2年(1645)下谷長者町へ移転。