ولد داوني في مانهاتن، نيويورك، وهو الأصغر من طفلين. والده روبرت داوني الأب هو ممثل ومخرج، بينما والدته إيلسي آن (ولد فورد) كانت ممثلة ظهرت في أفلام داوني الأب. والد داوني من نصف يهودي ليتواني، ربع يهودي هنغاري، وربع من أيرلندي، بينما والد داوني كان من أصل اسكتلندي وألماني وسويسري. اسم عائلة روبرت كان إلياس الذي غيره والده للتسجيل في الجيش. داوني وشقيقته الكبرى أليسون نشأت في قرية غرينتش. كطفل، كان داوني "محاطا بالمخدرات".
إلسي آن