Lumsden syntyi Itä-Intian yhtiön laivalla "Rose" Bengalinlahdella. Hän vietti ensimmäiset kuusi vuotta elämässään Bengalissa, jossa hänen isänsä eversti Thomas Lumsden palveli tykistöupseerina. Hänen isänsä Thomas liittyi Bengalin armeijaan vuonna 1808 ja palveli Englannin ja Nepalin sodassa.
, kolmannen anglo-maratha sodan ja ensimmäisen anglo-burmalaisen sodan saavuttaen eron. Hänen serkkunsa oli itämaatieteilijä Matthew Lumsden. Hänellä oli kuusi veljeä, joista kolme muutti Kanadaan, kun taas hänen nuorempi veljensä Peter seurasi hänen polkuaan Intiaan.