Stein lahir dari Nathan Stein dan Anna Hirschler, pasangan Yahudi yang tinggal di Budapest di Kekaisaran Austria-Hongaria. Orang tuanya dan saudara perempuannya mempertahankan iman Yahudi mereka tetapi Stein dan saudaranya, Ernst Eduard, dibaptis sebagai Lutheran, tampaknya untuk membebaskan mereka dari anti-semitisme yang akan menyangkal mereka akses ke pendidikan dan kemajuan. Di rumah keluarga berbicara bahasa Jerman dan Hongaria, bahasa kebangkitan nasionalis Hongaria pada abad ke-19, dan Stein bangga dengan warisan ini selama sisa hidupnya. Ia menghadiri gymnasium Katolik dan Lutheran di Budapest, di mana ia menguasai bahasa Yunani, Latin, Prancis, dan Inggris sebelum melanjutkan studi lanjutan di Universitas Vienna, Leipzig dan Tübingen. Ia belajar bahasa Sanskerta dan Persia dan menerima Ph.D. dari Tübingen pada tahun 1883.
Yunani, Latin, Prancis, dan Inggris