Là người lớn nhất trong gia đình có ba anh em, von Neumann sinh ra với tên Neumann János Lajos (tên trong tiếng Hungary có họ đi trước tên) ở Budapest, Đế chế Áo-Hung (Osztrák-Magyar Monarchia), con của ông Neumann Miksa (Max Neumann), một luật sư làm việc trong một ngân hàng, và bà Kann Margit (Margaret Kann). Lớn lên trong một gia đình gốc Do Thái, János, thường gọi là "Jancsi", là một cậu bé thần đồng. Vào năm lên sáu tuổi, cậu bé có thể chia hai số với 8-chữ số nhẩm trong đầu vào nói chuyện với cha bằng tiếng Hy Lạp cổ. Vào lúc lên tám, cậu đã biết rất nhiều về một ngành toán gọi là giải tích; lúc mười hai tuổi cậu có thể được xem là ở mức trên đại học. Cậu ta có thể nhớ chỉ bằng cách lướt nhìn qua trang sách. Cậu vào trường Fasori Gimnázium (Lutheran Gymnasium) vào năm 1911. Có nguồn cho rằng lúc 10 tuổi cậu bé mới đi học, và vào trường trung học luôn.