O pai de Downey é medio xudeu lituano, un cuarto xudeu húngaro e un cuarto irlandés, mentres que a nai de Downey tiña ascendencia escocesa, alemá e suíza. O nome orixinal de familia de Robert era Elias, que foi cambiado polo seu pai para alistarse no Exército. Downey e a súa irmá maior Allyson creceron en Greenwich Village. Como un neno, Downey foi "rodeado por drogas". O seu pai, un adicto ás drogas, permitiu Downey usar marihuana aos seis anos, un pai que máis tarde dixo que se arrepentía de Downey.
Elsie Ann