Els seus pares i la seva germana van conservar la seva fe jueva, però Stein i el seu germà, Ernst Eduard, van ser batejats com a luterans, aparentment per alliberar-los de l'antisemitisme que els hauria negat l'accés a l'educació i l'avanç. A casa la família parlava alemany i hongarès, la llengua del renaixement nacionalista hongarès al segle XIX, i Stein va estar orgullós d'aquest patrimoni per la resta de la seva vida. Va assistir a gimnàs catòliques i luteranes a Budapest, on va dominar el grec, el llatí, el francès i l'anglès abans de continuar per a estudis avançats a les universitats de Viena, Leipzig i Tübingen. Va estudiar en sànscrit i el persa i va rebre el seu Ph.D. des de 1883.
Grec, llatí, francès i anglès