Oppenheimer lahir di New York City pada tanggal 22 April 1904, anak dari Julius Oppenheimer, seorang importir tekstil Yahudi kaya yang berimigrasi ke Amerika Serikat dari Jerman pada tahun 1888, dan Ella Friedman, seorang pelukis. Julius datang ke Amerika tanpa uang, tanpa studi sarjana, dan tanpa pengetahuan bahasa Inggris. Dia mendapat pekerjaan di sebuah perusahaan tekstil dan dalam satu dekade adalah seorang eksekutif dengan perusahaan. Ella berasal dari Baltimore. Keluarga Oppenheimer adalah orang Yahudi Ashkenazi yang tidak taat. Pada tahun 1912, keluarga pindah ke sebuah apartemen di lantai 11 di 155 Riverside Drive, dekat West 88th Street, Manhattan, sebuah daerah yang dikenal dengan rumah mewah dan rumah mewah. Karya-karya mereka termasuk karya Pablo Picasso dan Édouard Vuillard, dan setidaknya tiga lukisan asli oleh Robert Vincent van Gogh.
tiga tahun