তদানীন্তন ব্রিটিশ ভারতের পাঞ্জাব এলাকার অমৃতসর গ্রামের কাছাকাছি কোটলা সুলতান সিংয়ের অধিবাসী হাজী আলী মোহাম্মদের ৬ষ্ঠ সন্তান হিসেবে জন্মগ্রহণ করেন মোহাম্মদ রফি।
সঙ্গীত শিল্পী মোহাম্মদ রফি'র ডাক নাম ছিল ফিকো। তার নিজ গ্রামে এক ফকিরের ভজন গানকে অনুকরণ করে গান গাওয়া শুরু করেন তিনি। জীবিকার সন্ধানে তার বাবা হাজী আলী মোহাম্মদ ১৯২০ সালে লাহোরে চলে যান এবং ভাট্টি গেটের নূর মহল্লায় একটি স্যালুনের মালিক হন।

তার বড় ভাই মোহাম্মদ দ্বীনের বন্ধু আবদুল হামিদ লাহোরে অবস্থানকালীন সময়ে রফি'র সঙ্গীত প্রতিভা দেখে তাকে গান গেতে সাহস জুগিয়েছিলেন। পরবর্তীতে তিনি রফি'র শ্যালক হয়েছিলেন। আবদুল হামিদ পরবর্তী সময়ে তার পরিবারের বড়দের কাছ থেকে সম্মতি আদায় করে তাকে মুম্বাই পাঠান। ১৯৪৪ সালে মোহাম্মদ রফি বোম্বেতে গেলে সঙ্গী হিসেবে তার সাথে আবদুল হামিদও গিয়েছিলেন। সেখানে তিনি উস্তাদ বড়ে গোলাম আলী খান, উস্তাদ আব্দুল ওয়াহিদ খান, পণ্ডিত জীবনলাল মত্তো এবং ফিরোজ নিজামী'র মতো প্রথিতযশা শিল্পীদের কাছ থেকে ভারতীয় শাস্ত্রীয় সঙ্গীতে তালিম নেন।

১৩ বছর বয়সে রফি লাহোরের প্রথিতযশা শিল্পী কে. এল. সাইগলের সাথে জীবনের প্রথম দর্শক-শ্রোতাদের মুখোমুখি হয়ে কনসার্টে গান পরিবেশন করেন। ১৯৪১ সালে শ্যাম সুন্দরের নির্দেশনায় লাহোরে নেপথ্য কণ্ঠশিল্পী হিসেবে নিজেকে অভিষেক ঘটান। পাঞ্জাবী ভাষায় নির্মিত "গুল বালুচ" (১৯৪৪ সালে মুক্তি পায়) চলচ্চিত্রে জিনাত বেগমের সঙ্গে দ্বৈত সঙ্গীত "সোনিয়ে নি, হেরিয়ে নি" গানটি গান। একই বছরে মোহাম্মদ রফি অল ইন্ডিয়া রেডিও'র লাহোর সম্প্রচার কেন্দ্রে গান পরিবেশনের জন্য আমন্ত্রণ পান।

১৯৪১ সালে শ্যাম সুন্দরের পরিচালনায় "গুল বালোচ" ছবির মাধ্যমে সঙ্গীতে পেশাগতভাবে অভিষেক ঘটান রফি। পরের বছর বোম্বের চলচ্চিত্র "গাও কি গৌরী" ছবিতে নৈপথ্য গায়ক হিসেবে অভিষেক ঘটান। এছাড়াও রফি "লায়লা-মজনু" (১৯৪৫) এবং "জুগনু" চলচ্চিত্রে সংক্ষিপ্তভাবে, অতিথি শিল্পী হিসেবে অভিনয় করেন। লায়লা-মজনু চলচ্চিত্রে 'তেরা জ্বালা' কোরাস গানে তাকে অন্যান্য শিল্পীদের সাথে গাইতে দেখা যায়।

শচীন দেব বর্মণের সাহচর্য্যে
গীতিকার মদন মোহনের সঙ্গে
শৈশবকাল
লতা মঙ্গেশকর