Downey édesapja fél litván zsidó, egy negyed magyar zsidó, és egy negyed ír származású, míg Downey édesanyja skót, német, és svájci származású volt. Robert eredeti családi neve Elias volt, amelyet apja megváltoztatta, hogy beiratkozzon a hadseregbe. Downey és idősebb testvére Allyson Greenwich Village-ben nőtt fel. Downey gyerekként "drogokkal volt körülvéve". Apja, egy drogfüggő, hatéves korában engedélyezte Downey marihuána használatát, amit később apja megbánta.
Elsie Ann