Ogrody zostały założone w 1853 roku i były drugim ogrodem botanicznym założonym w Kolonii Przylądkowej. Prospekt został sporządzony na potrzeby założenia ogrodów w 1846 roku, ale założenie zostało opóźnione przez wojny graniczne
- Co? Sir Harry Smith, 1 baronet i Sir George Cathcart byli obecni na uroczystej inauguracji. Teren jest rzekomo nawiedzony przez żonę Smitha, Juanę. 4 lipca 1994 roku ogrody zostały uznane za pomnik narodowy.