El seu pare, Robert Downey Sr., és un actor i cineasta, mentre que la seva mare, Elsie Ann (née Ford), va ser una actriu que va aparèixer en les pel·lícules de Downey Sr. El pare de Downey és mig lituà jueu, un quart jueu hongarès i un quart irlandès, mentre que la mare de Downey tenia ascendència escocesa, alemanya i suïssa. El nom original de la família de Robert era Elias, que va ser canviat pel seu pare per al·legar-se a l'Exèrcit. Downey i la seva germana gran Allyson van créixer a Greenwich Village.
Elsie Ann