Downeyn isä on puoliksi liettualaisjuutalainen, neljännes unkarilainen juutalainen ja neljännes irlantilainen, kun taas Downeyn äidillä oli skotlantilainen, saksalainen ja sveitsiläinen alkuperä. Robertin alkuperäinen sukunimi oli Elias, jonka hänen isänsä muutti ilmoittautuakseen armeijaan. Downey ja hänen vanhempi siskonsa Allyson kasvoivat Greenwich Villageen. Lapsena Downey oli "huumeiden ympäröimä". Hänen isänsä, huumeriippuvainen, antoi Downeyn käyttää marihuanaa kuuden vuoden iässä, jonka isä sanoi myöhemmin kadulleensa Downeyn elokuvissa.
Hän on Elsie Ann.