Faðir Downey er hálf Litháenskur Gyðingur, einn fjórðungur Ungverskur Gyðingur og einn fjórðungur Írskur afkomandi, en móðir Downey var af skoskum, þýskum og svissneskum uppruna. Upphaflega var ættarnafn Robert Elias sem var breytt af föður hans til að skrá sig í herinn. Downey og eldri systir hans Allyson ólst upp í Greenwich Village. Downey var "umkringdur fíkniefnum". Faðir hans, fíkniefnafíkn, leyfði Downey að nota marijúana þegar hann var sex ára, en faðir hans sagði síðar að hann hefði iðrast feril sinn.
Elsie Ann