Sau khi hoàn thành việc tiên đề hóa lý thuyết tập hợp, von Neumann bắt đầu đối đầu với việc tiên đề hóa vật lý lượng tử. Vào năm 1926, ông ngay lập tức nhận ra rằng một hệ lượng tử có thể được xem như là một điểm trong không gian Hilbert, tương tự như 6N chiều không gian (N là số hạt, 3 tọa độ chung và 3 động lượng chính tắc cho mỗi hạt) không gian của các pha trong cơ học cổ điển nhưng thay vào đó bây giờ là với vô hạn chiều (tương ứng với vô hạn số các trạng thái có thể xảy ra của hệ thống): các giá trị vật lý truyền thống (v.d. vị trí và momentum) do đó có thể được biểu diễn như là các toán tử tuyến tính nào đó tác động trong các không gian này. "Vật lý học" của cơ học lượng tử do đó được thu gọn về "toán học" của các toán tử tuyến tính Hermitian trong các không gian Hilbert. Ví dụ, nguyên lý bất định nổi tiếng của Heisenberg, theo đó sự xác định vị trí của một hạt sẽ ngăn chặn sự xác định momentum của nó và ngược lại, được diễn dịch thành sự "phi giao hoán" của hai toán tử tương ứng. Mô hình toán học mới này bao gồm cả những trường hợp đặc biệt là những mô hình của cả Heisenberg và Schrödinger, và tích lũy trong cuốn sách kinh điển năm 1932 với tựa đề The Mathematical Foundations of Quantum Mechanics (Những nền tảng toán học của cơ học lượng tử). Tuy vậy, các nhà vật lý, nhìn chung, cuối cùng vẫn thích một cách tiếp cận khác với của von Neumann (được xem như là rất đẹp và thỏa mãn yêu cầu bởi các nhà toán học). Cách tiếp cận đó được đưa ra vào năm 1930 bởi Paul Dirac và dựa vào một kiểu hàm số lạ (gọi là "delta của Dirac") vốn bị chỉ trích gay gắt bởi von Neumann.