Oppenheimer syntyi New Yorkissa 22. huhtikuuta 1904, Julius Oppenheimer, varakas juutalainen tekstiili tuoja, joka oli maahanmuuttanut Yhdysvaltoihin Saksasta vuonna 1888, ja Ella Friedman, maalari. Julius tuli Amerikkaan ilman rahaa, ilman koulutusopintoja, eikä tietoa englannin kielen. Hän sai työpaikan tekstiiliyrityksessä ja kymmenen vuoden sisällä oli johtaja yhtiössä. Ella oli Baltimoresta. Oppenheimers olivat ei-observantti Ashkenazi juutalaisia. Vuonna 1912 perhe muutti huoneistoon 11. kerroksessa 155 Riverside Drive, lähellä West 88th Street, Manhattan, alue tunnetaan ylellisiä kartanoja ja taloja. Heidän taideteokset sisälsivät Pablo Picasso ja Édouard Vuillard, ja ainakin kolme alkuperäistä maalauksia Robert Vincent van Gogh.
kolme vuotta