Downey gimė Manhetene, Niujorke, jauniausias iš dviejų vaikų. Jo tėvas, Robertas Downey Sr., yra aktorius ir režisierius, o jo motina, Elsie Ann (gimė Ford), buvo aktorė, pasirodžiusi Downey Sr. filmuose. Downey tėvas yra pusė lietuvių žydų, ketvirtadalis vengrų žydų ir ketvirtadalis airių kilmės, o Downey motina turėjo škotų, vokiečių ir šveicarų kilmės. Robertas originalus šeimos vardas buvo Elias, kurį jo tėvas pakeitė, kad įstotų į kariuomenę. Downey ir jo vyresnė sesuo Allyson užaugojo Greenwich Village. Būdamas vaikas, Downey buvo "apvalytas narkotikų".
Elsi An