Oppenheimer gimė Niujorke 1904 m. balandžio 22 d. Jo tėvas Julius Oppenheimer buvo turtingas žydas tekstilės importuotojas, emigravęs į Jungtines Valstijas iš Vokietijos 1888 m. ir jo motina Ella Friedman, tapytoja. Julius atvyko į Ameriką be pinigų, be bakalauro studijų ir be anglų kalbos žinių. Jis gavo darbą tekstilės kompanijoje ir per dešimtmetį buvo bendrovės vadovas. Ella buvo iš Baltimorės. Oppenheimeriai buvo nepažįstami aškenaziečiai žydai. 1912 m. Šeima persikėlė į butą 155 Riverside Drive 11 aukšte, netoli 88-osios Vakarų gatvės, Manhatano, vietovėje, žinomoje prabangių rūmų ir vilnių.
3 metai