ولد داوني في مانهاتن ، نيويورك ، وهو الأصغر من طفلين. والده ، روبرت داوني الأب ، هو ممثل ومخرج أفلام ، بينما والدته ، إيلسي آن (née فورد) ، كانت ممثلة ظهرت في أفلام داوني الأب. والد داوني من نصف يهودي ليتواني ، وربع يهودي هنغاري ، وربع إيرلندي ، بينما كانت والدة داوني من أصل اسكتلندي وألماني وسويسري. كان اسم عائلة روبرت الأصلي إيلياس الذي غيره والده للتسجيل في الجيش. نشأ داوني وشقي اخته ألسون في قرية غرينتش. كطفل ، كان داوني "محاطًا بالمخدرات".
إلسي آن