Gordon grew up in England, Ireland, Scotland and the Ionian Islands (which were under British rule until 1864) as his father was moved from post to post.
Ο Γκόρντον μεγάλωσε σε διάφορα μέρη, όπως Αγγλία, Ιρλανδία, Σκωτία και Ιόνια νησιά (που βρίσκονταν υπό βρετανική κυριαρχία έως το 1864), αφού ο πατέρας του μετακινούνταν σε διάφορα πόστα του Βρετανικού στρατού.