Oppenheimer fæddist í New York City 22. apríl 1904, og var sonur Julius Oppenheimer, ríks gyðinga sem flutti til Bandaríkjanna frá Þýskalandi árið 1888, og Ella Friedman, málara. Julius kom til Bandaríkjanna 18 ára gamall án peninga, án stúdentsprófs, og án þekkingar á ensku. Hann fékk vinnu í textílfyrirtæki og innan áratugar var framkvæmdastjóri hjá fyrirtækinu. Ella var frá Baltimore. Oppenheimer voru óhlýðnir Ashkenazi gyðingar. Árið 1912 flutti fjölskyldan í íbúð á 11. hæð á 155 Riverside Drive, nálægt West 88th Street, Manhattan, svæði sem er þekkt fyrir glæsilegar mansions og húsakynir.
þrjú ár