Els seus pares eren Isadore i Anna Ashkin. Va tenir dos germans, un germà, Julius, també físic, i una germana, Ruth. Un germà gran, Gertrude, va morir quan era jove. La casa de la família era a Brooklyn, Nova York, al 983 E 27 Street. Isadore (né Ashkinazi) havia emigrat als Estats Units des d'Odessa (aleshores Imperi Rus, ara Ucraïna), a l'edat de 18 anys. Anna, cinc anys més jove, també va venir de l'actual Ucraïna, aleshores Galícia, Imperi Austrohongarès.
Isadora