Stein gimė Nathan Stein ir Anna Hirschler, žydų pora, gyvenanti Budapešte Austrijos-Vengrijos imperijoje. Jo tėvai ir jo sesuo išlaikė savo žydų tikėjimą, bet Stein ir jo brolis, Ernst Eduard, buvo pakrikštyti kaip liuteronai, matyt, kad išlaisvintų juos nuo antisemitizmo, kuris būtų jiems atsisakęs galimybės gauti išsilavinimą ir pažangą. Namuose šeima kalbėjo vokiškai ir vengriškai, Vengrijos nacionalistinio atgimimo kalba XIX amžiuje, ir Stein didžiuojasi šiuo paveldu visą likusį savo gyvenimą. Jis lankė katalikų ir liuteronų gimnazijas Budapešte, kur jis mokėsi graikų, lotynų, prancūzų, anglų ir persų kalbų, prieš eidamas į aukštesnius studijas Vienos, Leipcigo ir Tübingen universitetuose. Jis mokėsi sanskrito ir persų kalbų ir gavo Ph.D. nuo 1883 m. 1884 m. Jis išvyko į Lahore, tačiau Stein ir jo brolis, Ernst Eduardas, buvo pakrikšt
Graikų, lotynų, prancūzų ir anglų