Passage: Downey alizaliwa katika Manhattan, New York, mdogo wa watoto wawili. Baba yake, Robert Downey Sr., ni muigizaji na mtengenezaji wa filamu, wakati mama yake, Elsie Ann (née Ford), alikuwa mwigizaji ambaye alionekana katika filamu za Downey Sr. Baba ya Downey ni nusu ya Kilithuania ya Kiyahudi, robo moja ya Kiyahudi ya Hungarian, na robo moja ya asili ya Ireland, wakati mama ya Downey alikuwa na asili ya Scottish, Kijerumani, na Uswizi. Jina la asili la familia ya Robert lilikuwa Elias ambalo lilibadilishwa na baba yake kujiandikisha katika Jeshi. Downey na dada yake mkubwa Allyson walikua katika Kijiji cha Greenwich. Kama mtoto, Downey "alizungukwa na dawa za kulevya".
Elsie Ann