Fromm's grandfather and two great grandfathers on his father's side were rabbis, and a great uncle on his mother's side was a noted Talmudic scholar.
Bunicul lui Fromm și doi străbuni din partea tatălui său erau rabiți și un unchi mare de partea mamei sale era un învățat talmudic.