Părinții săi și sora sa și-au păstrat credința evreiască, dar Stein și fratele său, Ernst Eduard, au fost botezați ca luterani, aparent pentru a-i elibera de antisemitismul care le-ar fi refuzat accesul la educație și avansare. Acasă, familia a vorbit germană și maghiară, limba renașterii naționaliste maghiare în secolul al XIX-lea, iar Stein a fost mândru de această moștenire pentru tot restul vieții sale. El a frecventat gimnaziile catolice și luterane din Budapesta, unde a învățat greaca, latina, franceza și engleza înainte de a merge pentru studii avansate la universitățile din Viena, Leipzig și Tübingen. El a studiat sanscrita și persană și a primit Ph.D. din 1883. În 1884 el a fost botezat la Lahore, iar fratele său, Ernst Eduard, a fost botezat ca luterani, aparent pentru a-i elibera de antisemitismul care le-ar fi refuzat accesul la
Greacă, latină, franceză şi engleză