徳川の身分の低い家の生まれ。若いころからオランダ語を勉強し、オランダ語の辞典を持っている知人の家に通い、夜も寝ずに書き写した話は有名。幕末の知識人はオランダ語を学んだが、勝海舟はやがてオランダ語が国際語でないことを知る。幕府は日米修好通商条約の批准書交換のため、遣米使節を米国へ派遣する。このとき、護衛と言う名目で咸臨丸もアメリカ・サンフランシスコへ渡航した。通訳として、ジョン万次郎、福澤諭吉も乗り込んだ。(この辺の細かいエピソードは省きますが・・)万次郎はご存知の通り、アメリカへ漂流した際、英語を身につけており、福澤諭吉は横浜でオランダ語が役に立たないことを知り、急遽、英語に切り替えていた。