V 19. století byly zahrady několikrát poškozeny. Během první opiové války použila britská armáda čajovnu Huxinting jako základnu operací několik dní v roce 1842. Během povstání Taipingů
, společnost Malých mečů měla své ústředí v Dianchun Hall; v době, kdy Qing vojáci obnovili zahradu, původní struktury byly téměř všechny zničeny. V roce 1942 byly opět poškozeny Japonci, než byly opraveny Liangshun Hanem (Rockery Han) jmenovaným šanghajskou vládou od roku 1956 do roku 1961. Pro veřejnost byly otevřeny v roce 1961 a v roce 1982 byly prohlášeny za národní památku.