১৯৮৪ সালে অভিনেত্রী সারাহ জেসিকা পার্কারের সাথে ডাউনি প্রেম শুরু করেন, আর এ প্রেম শুরু হয় "ফার্স্ট বর্ন" চলচ্চিত্রে একসাথে কাজ করার পর থেকে। তিনি এবং পার্কার সাত বছর পর্যন্ত একসঙ্গে থাকেন। দম্পতি ১৯৯১ সালে আলাদা হয়ে যায় ডাউনির মাদকাসক্তির কারণে।

ব্যক্তিগত জীবনে ডাউনি দুইবার বিবাহবন্ধনে আবদ্ধ হয়েছেন। তিনি প্রথমে অভিনেত্রী/গায়ক ডেবোরা ফ্যালকনারের সঙ্গে ২৯শে মে ১৯৯২ সালে বিবাহ করেছেন। মাত্র দুই বছরের মধ্যেই ১৯৯৩ সালের সেপ্টেম্বর মাসে তাদের পুত্র 'ইন্ডিয়ো ফ্যালকনার ডাউনি' জন্মগ্রহণ করেন। অবশেষে ফ্যালকনার ডাউনিকে ছেড়ে দেন এবং তাদের একমাত্র ছেলেকে তার সঙ্গে রাখেন। ডাউনি এবং ফ্যালকনার ২৬ এপ্রিল ২০০৪ সালে তাদের বিবাহবিচ্ছেদ চূড়ান্ত হয়।
২০০৩ সালে ডাউনি "গথিকা" চলচ্চিত্রে কাজ করার সময় প্রযোজক সুজান লেভিন এর সাথে পরিচয় হন। সুজান জোয়েল সিলভার প্রোডাকশন কোম্পানির কো-সভাপতি ছিলেন। ডাউনি এবং সুজান প্রডাকশনের কাজের সময় খুব তাড়াতাড়ি প্রেমে পড়ে গিয়েছিল, যদিও সুজান দুইবার তার আবেগপ্রবণ অগ্রগতি ফিরিয়ে দিয়েছিল। সুসান চিন্তিত ছিলেন যে চলচ্চিত্রের নির্মাণকাজ শেষ হওয়ার পর তাদের ভালোবাসা আর স্থায়ী হবে না, কারণ "তিনি একজন অভিনেতা; আর আমার একটি স্থায়ী চাকুরী আছে", দম্পতির সম্পর্ক গোঠিকার প্রোডাকশনের কাজ সমাপ্ত হওয়ার পরেও অবিরত চলতে থাকে। সুজানের ত্রিশতম জন্মদিনের আগের দিন রাতে ডাউনি জুনিয়র তাকে বিয়ে করার জন্য প্রস্তাব দেয়। নিউ ইয়র্কের একটি ইহুদি অনুষ্ঠানের মাধ্যমে দম্পতিটি ২০০৫ সালের আগস্ট মাসে তাদের বিবাহ সম্পন্ন করেন। তার প্রতি শ্রদ্ধা জানানোর জন্য সমর্থনসূচক কার্য হিসেবে ডাউনি তার একটি দ্বিশির মাংসপেশীতে "Suzie Q" নামে একটি উলকি আকান। তাদের প্রথম সন্তান এক্সটন এলিয়াস নামে এক পুত্র ফেব্রুয়ারি ২০১২-এ জন্ম নেয় এবং তাদের দ্বিতীয় সন্তান অ্যাভ্‌রি রোয়ল নামে এক কন্যা নভেম্বর ২০১৪-এ জন্ম নেয়।

পুরস্কার এবং মনোনয়ন
রাজনৈতিক দৃষ্টিভঙ্গি
সম্পর্ক ও পরিবার
আসক্তি এবং অপ্রমাদ