وُلد داوني فمانهاتان، نيويورك، و كان أصغر من جوج أطفال. والده، روبرت داوني، كان ممثل و صانع أفلام، و والدته، إيلسي آن، كانت ممثلة ظهرت في أفلام داوني. والده داوني كان نص ليتواني يهودي، ربع هنغاري يهودي، و ربع إيرلندي، و والدته كان من أصل سكوتش، ألماني، وسويسري. اسم العائلة الأصلي لروبرت كان إيلياس و غيره والده ليتسجل في الجيش. داوني و اختاه الكبرى أليسون كبروا في قرية غرينويش. من قديما، كان داوني "محاط بالمخدرات".
إلسي آن