Lumsden fæddist um borð í skip Austur-Indverska fyrirtækisins "Rose" í Bengal-flóa. Hann eyddi fyrstu sex árum ævi sinnar í Bengal, þar sem faðir hans, Thomas Lumsden, var liðsforingi í byssuvarði. Faðir hans, Thomas, gekk í Bengal herinn árið 1808 og þjónaði í Anglo-Nepali stríðinu.
, þriðja Anglo-Maratha stríð og fyrsta Anglo-Burmese stríð að ná framúrskarandi. Fyrsti frændi hans var austurlandafræðingurinn Matthew Lumsden. Hann átti sex bræður, þrír þeirra fluttust til Kanada, en yngri bróðir hans Pétur fylgdi leið hans til Indlands.