Passage: Downey lahir di Manhattan, New York, anak bungsu dari dua bersaudara. Ayahnya, Robert Downey Sr., adalah seorang aktor dan pembuat film, sementara ibunya, Elsie Ann (née Ford), adalah seorang aktris yang muncul dalam film-film Downey Sr. Ayah Downey adalah setengah Lithuania Yahudi, seperempat Hungaria Yahudi, dan seperempat keturunan Irlandia, sementara ibu Downey memiliki keturunan Skotlandia, Jerman, dan Swiss. Nama keluarga asli Robert adalah Elias yang diubah oleh ayahnya untuk mendaftar di Angkatan Darat. Downey dan kakak perempuannya Allyson tumbuh di Greenwich Village. Sebagai seorang anak, Downey "terkelilingi oleh obat-obatan. "
Elsie Ann