Naceu en Brooklyn, Nova York, en 1922, nunha familia de orixe ucraino-xudaica. Os seus pais eran Isadore e Anna Ashkin. Tiña dous irmáns, un irmán, Julius, tamén físico, e unha irmá, Ruth. Un irmán maior, Gertrude, morreu cando era novo. A casa da familia estaba en Brooklyn, Nova York, no 983 E 27 Street. Isadore (né Ashkinazi) emigrou aos Estados Unidos de Odessa (entón Imperio Ruso, agora Ucraína), á idade de 18 anos. Anna, cinco anos máis nova, tamén viña da Ucraína de hoxe, entón Galicia, Imperio Austro-húngaro.
Isadore