Po sėkmingos britų invazijos į Javą 1811 m.
Stamfordas Rafflesas buvo paskirtas salos leitenantu-gubernatoriumi ir Buitenzorgo rūmai tapo jo rezidencija. Valdydamas rūmuose, sodas buvo pertvarkytas į anglų stiliaus sodą. Jo žmona Olivia Mariamne Raffles mirė Buitenzorge 1814 m. lapkričio 26 d. ir buvo palaidota Batavijoje. Sode buvo pastatytas paminklas jos atminimui.