ラムズデンは東インド会社の船"ローズ"で ベンガル湾で生まれました 彼は人生の最初の6年間をベンガルで過ごし,父親トーマス・ラムズデン大佐が砲兵士官として働いていた. 彼の父親トーマスは 1808年にベンガル軍に入隊し,
イギリス・ネパール戦争,第三次イギリス・マラサ戦争,第1次イギリス・ビルマ戦争で,名誉を勝ち取った. 彼のいとこは東洋学者 マシュー・ラムズデンでした 彼には6人の兄弟がいて,そのうちの3人はカナダに移民し,弟のピーターはインドへ移住した.