Elgort lair ing Manhattan. Wong tuwané Arthur Elgort, juru foto fashion sing kerja kanggo "Vogue" sasuwéné 30 taun, lan Grethe Barrett Holby, sutradhara opera. Bapaké iku keturunan Yahudi Ruslan , lan ibuké iku keturunan Inggris, Jerman, lan Norwègia. Lan simbah wédoké, Aase-Grethe, iku warga Norwègia  Perang Donya II, lan nyelametaké bocah cilik Yahudi Norwègia kanthi pindah menyang Swèdhen sing nétral; amarga saka kedadèan iku, dhèwèké dikunjara ing kèm konsèntrasi.