ダウニーはニューヨークのマンハッタンで生まれ,2人の子供の末っ子である.父親のロバート・ダウニーは俳優で映画監督であり,母親のエルシー・アン (née Ford) はダウニー・シニアの映画に出演した女優だった.ダウニーの父親は,半分はリトアニア系ユダヤ人,四分の一はハンガリー系ユダヤ人,四分の一はアイルランド系であり,ダウニーの母親はスコットランド系,ドイツ系,スイス系の子孫だった.ロバートの元の姓はエライアスで,父親によって軍隊に入隊するために変更された.ダウニーと彼の姉のオールソン・ウィリッジはグリーンウィッチ・ビレッジで育った.子供の頃,ダウニーは"麻薬に囲まれていた".彼の父親は麻薬中毒で,6歳のときにダウニーがマリファナを使用することを許され,父親は後にダウニーを後悔したと言った.ダウニーは,ダウニーが7歳の時にリトアニア・ハイ・スクールに通っていたが,後にダウニーが父親と離婚した.その後,ダウニーはニューヨークでドラッグスクールに通っていた.父親は
エルシー・アン