Von Neumann lập gia đình hai lần. Vợ đầu của ông là Mariette Kövesi, cưới vào năm 1930. Khi ông cầu hôn, ông không có khả năng nói được gì nhiều hơn là "Cô và tôi có thể có một vài thú vui cùng nhau, và hiện nay cả hai chúng ta đã đều thích uống." Von Neumann đồng ý chuyển đổi sang Công giáo để làm đẹp lòng gia đình vợ. Đôi vợ chồng ly dị vào năm 1937, và sau đó von Neumann cưới người vợ sau, Klara Dan, vào năm 1938. Von Neumann có một đứa con gái, từ cuộc hôn nhân đầu, là Marina von Neumann Whitman. Marina sau này lập gia đình và là một giáo sư nổi tiếng trong thương mại quốc tế và chính sách công tại Đại học Michigan.