Viitataan alla olevaan kohtaan ja vastataan kysymykseen sen jälkeen samalla kielellä kuin kohtaa:  Downey syntyi Manhattanilla, New Yorkissa, nuorempana kahdesta lapsesta. Hänen isänsä, Robert Downey Sr., on näyttelijä ja elokuvantekijä, kun taas hänen äitinsä, Elsie Ann, oli näyttelijä, joka esiintyi Downey Sr: n elokuvissa. Downeyn isä on puoliksi liettualaisjuutalainen, neljännes unkarilaisjuutalainen ja neljännes irlantilainen, kun taas Downeyn äidillä oli skotlantilainen, saksalainen ja sveitsiläinen suku. Robertin alkuperäinen sukunimi oli Elias, jonka hänen isänsä muutti värväytyäkseen armeijaan. Downey ja hänen vanhempi sisarensa Allyson kasvoivat Greenwich Villagessa. Downey oli lapsena "huumeiden ympäröimä". Hänen isänsä, huumeidenkäyttäjä, salli Downeyn käyttää marihuanaa kuusivuotiaana, tapaus, josta hänen isänsä myöhemmin sanoi katuvansa. Downey sanoi myöhemmin, että huumeidenkäyttöstä tuli hänen ja isänsä välinen tunneperäinen side: "Kun minä ja isäni käytimme huumeita yhdessä, se oli kuin hän yrittäisi ilmaista rakkauttaan minua kohtaan ainoalla tietyllä tavalla, jonka hän tiesi". Lopulta Downey alkoi viettää joka ilta alkoholin väärinkäyttöä ja "soittaa tuhansia puheluita huumeiden etsimiseksi". Hän debytoi viisivuotiaana absurdi-komediassa Pound (1970) sairaan koiranpennun roolissa, ja seitsemänvuotiaana hän esiintyi surrealistisessa Greaser's Palace (1972). 10-vuotiaana hän asui Englannissa ja opiskeli klassista balettia osana laajempaa opetussuunnitelmaa. Hän kävi teini-iässä Stagedoor Manor Performing Arts Training Centerissä New Yorkin osavaltion pohjoisosassa. Kun hänen vanhempansa erosivat vuonna 1978, Downey muutti Kaliforniassa isänsä kanssa, mutta vuonna 1982 hän lopetti Santa Monican lukion ja muutti takaisin New Yorkiin harjoittamaan näyttelijän uraa kokopäiväisesti. Downey ja Kiefer Sutherland, jotka jakoivat näytöksen 1988-draamassa 1969, olivat kämppiksiä kolme vuotta, kun hän muutti Hollywoodissa harjoittamaan näyttelijän uraansa.  Mikä oli Downeyn äidin nimi?
Hän on Elsie Ann.