Ljúktu eftirfarandi setningu: Garðarnir urðu fyrir miklum skaða á 19. öld. Í fyrsta ópíumstríðinu notaði breski herinn Huxinting tehúsið sem herstöð í nokkra daga árið 1842. Á meðan
Í uppreisn Taiping var höfuðstöðvar félagsins Smá sverðin í Dianchun-höllinni. Þegar Qing-hermenn endurheimtu garðinn voru upprunaleg mannvirki nánast öll eyðilögð. Japönar skemmdu þær aftur árið 1942 áður en þær voru lagfærðar af Liangshun Han (Rockery Han) sem skipaður var af Shanghai ríkisstjórninni frá 1956 til 1961. Þau voru opnuð almenningi árið 1961 og lýst þjóðminjum árið 1982.