Lia patro, Robert Downey Sr., estas aktoro kaj produktoro de filmoj, dum lia patrino, Elsie Ann (née Ford), estis aktorino, kiu aperis en filmoj de Downey Sr. La patro de Downey estas duone litova judo, unu-kvarono hungara judo, kaj unu-kvarono irlanda deveno, dum la patrino de Downey havis skotajn, germanajn, svisajn kaj svisajn devenojn. La origina familia nomo de Robert estis Elias, kiun lia patro ŝanĝis por aliĝi al la armeo. Downey kaj lia pli maljuna fratino Allyson kreskis en Greenwich Village. Kiel infano, Downey estis "cirkumita de drogoj".
Elsie Ann