Vuonna 1811 Stamford Raffles johti onnistuneen
Javaan hyökkäys ja Britannian valtaaminen siirtokuntaan jatkui vuoteen 1816 asti. Raffles asui Buitenzorgin palatsissa Bogorin kukkuloiden lauhkean ilmaston vuoksi, kun taas hän johti suurimman osan neuvoston kokouksista Batavian Rijswijkin palatsissa. Hänen oleskelunsa aikana hän muutti Buitenzorgin palatsin puutarhan englanninkieliseksi puutarhaksi, josta tuli inspiraatio myöhäiselle kasvitieteelliselle puutarhalle.