ジョン万次郎は生涯で3回結婚をしました。1回目は「団野鉄」という本所亀沢(現・墨田区の南部)にあった道場の次女。最初は長女との結婚が進んでいましたが、活発な次女鉄がいいだろうと話がすすみ結婚に至りました。鉄は9年後、麻疹にかかり病没しています。その後、1871年~1872年ごろに医者・樋口立卓の妹で才女の「樋口琴」と結婚しましたが、琴とは故あって離婚したとされています。晩年に、仙台藩田沼家の養女「志げ」と結婚しました。