Oppenheimer va néixer a la ciutat de Nova York el 22 d'abril de 1904, fill de Julius Oppenheimer, un ric importador jueu de tèxtils que havia emigrat als Estats Units des d'Alemanya el 1888, i Ella Friedman, una pintora. Julius va arribar a Amèrica sense diners, sense estudis de bachillerat, i sense coneixement de la llengua anglesa. Va aconseguir un treball en una empresa tèxtil i en una dècada va ser un executiu de la companyia. Ella era de Baltimore. Els Oppenheimer eren jueus ashkenazis no observadors. El 1912 la família es va traslladar a un apartament al pis 11 de 155 Riverside Drive, prop de West 88th Street, Manhattan, una zona coneguda per les luxoses mansions i vil·les. La seva ciutat d'art incloïa obres de Pablo Picasso i Édouard Vuillard, i almenys tres pintures originals de Robert Vincent van Gogh.
tres anys