রফি এবং আব্দুল হামিদ বোম্বেতে অবস্থানকালীন চল্লিশের দশকে দুই বোনকে বিয়ে করেন। রফি পূর্বে তার চাচাতো বোনকে বিয়ে করেছিলেন কিন্তু অভিবাসন আইনের দরুন তাকে ভারতে আনতে পারেননি। দেশ বিভক্তির ফলে তার স্ত্রী পাকিস্তানের লাহোরে অবস্থান করেন। প্রথম সংসারে তার একটি পুত্র সন্তান রয়েছে। বোম্বেতে অবস্থানকালীন তিনি বিলকিস নাম্নী এক রমণীকে ২য় বারের মতো বিয়ে করেন। তাদের ২য় সংসারে ৩ পুত্র ও ৩ কন্যা আছে। তিনি মদপান করতেন না। একজন ধার্মিক ও বিনয়ী ব্যক্তি হিসেবে সর্বত্র সকলের কাছে পরিচিত ব্যক্তিত্ব ছিলেন।

তিনি পরিবারের প্রতি অত্যন্ত দায়িত্বশীল ছিলেন বলে জানা যায়। রেকর্ডিং রুম থেকে বাড়ীতে এবং বাড়ী থেকে রেকর্ডিং রুমে আসা-যাওয়ার মধ্যেই সীমাবদ্ধ ছিল তার জীবন। চলচ্চিত্রের যে-কোন ধরনের জলসায় তাকে কখনো অংশগ্রহণ করতে দেখা যায়নি। এছাড়াও, ধূমপান কিংবা মদপান করতেন না রফি। তিনি ভোর ৩টা থেকে সকাল ৭টা পর্যন্ত বিরতিহীনভাবে ও একাধারে সঙ্গীতের রেওয়াজ বা সঙ্গীত চর্চ্চা করতেন। প্রধানতঃ ক্যারম, ব্যাডমিন্টন এবং ঘুড়ি উড়াতেই তার আগ্রহ লক্ষ্য করা গিয়েছিল।

রফি'র ছোট ভাই মোহাম্মদ সাদ্দিকী এখনও বেঁচে আছেন এবং পরিবার নিয়ে পাকিস্তানের লাহোরে অবস্থান করছেন।

শচীন দেব বর্মণের সাহচর্য্যে
ব্যক্তিগত জীবন
বোম্বে আগমন
সঙ্গীত জীবন