Oppenheimer 1904. április 22-én született New Yorkban, Julius Oppenheimer, egy gazdag zsidó textil importőr, aki 1888-ban Németországból emigrált az Egyesült Államokba, és Ella Friedman, egy festő. Julius 18 évesen érkezett Amerikába pénz nélkül, érettségi tanulmányok nélkül, és angol nyelvtudás nélkül. Munkát kapott egy textil cégben, és egy évtizeden belül a cég vezetője volt. Ella Baltimore-ból származott. Az Oppenheimerék nem voltak megfigyelő aszkenazista zsidók. 1912-ben a család egy lakásba költözött a 155 Riverside Drive 11. emeletén, a West 88th Street, Manhattan közelében, egy olyan területen, amely híres a luxus házak és házakért és a város művészetéről.
három év