ラムズデンは東インド会社の船"ローズ"で ベンガル湾で生まれました 彼は人生の最初の6年間をベンガルで過ごし,父親トーマス・ラムズデン大佐が砲兵士官として働いていた. 父トーマスは 1808年にベンガル軍に入隊し,英ネパール戦争に参加した.
第3次アングロ・マラサ戦争と第1次アングロ・ビルマ戦争で,名誉賞を受賞した. 彼のいとこは東洋学者 マシュー・ラムズデンでした 彼には6人の兄弟がいて,そのうちの3人はカナダに移民し,弟のピーターはインドへ移住した.