১৯৪৪ সালে মোহাম্মদ রফি বোম্বেতে (বর্তমান মুম্বাই) চলে আসেন। তার শ্যালক সেখানে তাকে ভেন্দী বাজারের মতো ব্যস্ততম এলাকায় দশ ফুট বাই দশ ফুট কক্ষে থাকার ব্যবস্থা করেন। সেখানে তানভীর নাকভী নামীয় একজন কবি - আবদুর রশীদ কারদার, মেহবুব খান এবং অভিনেতা-পরিচালক নাজিরের মতো চলচ্চিত্র পরিচালকের সাথে রফিকে পরিচয় করে দেন। শ্যাম সুন্দর তখন মুম্বাইয়ে অবস্থান করছিলেন। তিনি রফিকে আবারো জিএম দুররানী'র সাথে দ্বৈত সঙ্গীতে অংশগ্রহণের জন্য আমন্ত্রণ জানান। শ্যাম সুন্দরের "গাঁও কি গোরী" চলচ্চিত্রের "আজি দিল হো কাবু মে তো দিলদার কি এ্যায়সী তাঈসী" গানের মাধ্যমে মোহাম্মদ রফি হিন্দী চলচ্চিত্রে প্রথম গান রেকর্ড করেন।

১৯৪৮ সালে মহাত্মা গান্ধী নিহত হবার পর হুসনলাল ভগতরাম-রাজেন্দ্র কৃষাণ-রফি ত্রয়ী একরাত্রিতেই কালজয়ী "শুনো শুনো এই দুনিয়াওয়ালো, বাপুজী কি অমর কাহিনী" গান রচনা করে সঙ্গীত পরিবেশন করেন। এরপর তিনি ভারতের তৎকালীন প্রধানমন্ত্রী জওহরলাল নেহ্‌রু'র আমন্ত্রণে গানটি পুণরায় পরিবেশন করে উপস্থিত সকলকে শোনান। ১৯৪৮ সালে ভারতের স্বাধীনতা দিবসে নেহরু'র কাছ থেকে রৌপ্য পদক গ্রহণ করেন মোহাম্মদ রফি।

১৯৪৯ সালে নওশাদ (চাদনী রাত, দিল্লাগী, দুলারী); শ্যাম সুন্দর (বাজার); হুসনলাল ভগতরামের (মীনা বাজার) প্রমূখ সঙ্গীত পরিচালকদের নির্দেশনায় একক সঙ্গীতে অংশ নেন। নওশাদের নির্দেশনায় শ্যাম কুমার, আলাউদ্দীন এবং অন্যান্যদের সঙ্গে রফি'র প্রথম গান ছিল ১৯৪৪ সালে মুক্তিপ্রাপ্ত "পেহলে আপ" ছবির "হিন্দুস্তান কি হাম হ্যায়" গানটি। এভাবেই তিনি হিন্দি ভাষায় তার প্রথম গান রেকর্ড করেন। এছাড়াও রফি দু'টি হিন্দী ছবিতে অভিনয় করেন। ১৯৪৫ সালে মুক্তিপ্রাপ্ত "লায়লা মজনু" চলচ্চিত্রের "তেরা জ্বালা জিস নে দেখা" গানের দৃশ্যে অতিথি শিল্পী হিসেবে অংশগ্রহণ করেছিলেন।

তিনি নওশাদের সহযোগিতায় অনেকগুলো গান গেয়েছেন। ১৯৪৬ সালে মুক্তিপ্রাপ্ত "শাহজাহান" চলচ্চিত্রে কুন্দন লাল সায়গলের সাথে "মেরে স্বপ্ন কি রানি, রুহী রুহী" নামের কোরাসে অংশ নেন। মেহবুব খানের "আনমল ঘড়ি" (১৯৪৬)-তে "তেরা খিলোনা তোতা বালক" এবং "জুগনু" (১৯৪৭) চলচ্চিত্রে "ইয়াহান বাদলা ওয়াফা কা" গানে নূর জাহানের সাথে দ্বৈত সঙ্গীতে কণ্ঠ দেন।

ভারত বিভাজনের সময় মোহাম্মদ রফি ভারতে স্থায়ীভাবে বসবাসের সিদ্ধান্ত নেন। ফলে তার পরিবারও বোম্বেতে চলে আসে। কিন্তু ঐসময়কার অন্যতম জনপ্রিয় কণ্ঠশিল্পী নূরজাহান পাকিস্তানে স্থানান্তরিত হবার সিদ্ধান্ত নেন। নূরজাহান সেখানে আহমেদ রুশদী'র সাথে নতুন করে সঙ্গীত জুটি বাঁধেন।

রফি ঐ সময়ের জনপ্রিয় সঙ্গীতকার হিসেবে কুন্দন লাল সায়গল, তালাত মেহমুদের গানগুলো গভীরভাবে অনুসরণ করেন। তবে সবচেয়ে বেশি অনুরক্ত ও প্রভাবান্বিত হয়েছিলেন জি. এম. দূররাণী'র প্রতি, যার গানগুলোকে নিজের গানের মধ্যে অন্তর্ভুক্ত করেছিলেন। তিনি তার আদর্শকে ধারণ করতে গিয়ে ১৯৫৬ সালে মুক্তিপ্রাপ্ত হাম সব চোর হ্যায় ছবিতে "হামকো হাসতে দেখ জামানা জ্বলতা হ্যায়" এবং ১৯৫০ সালে বেকসুর ছবিতে "খবর কিসি কো নাহিন, ও কিধার দেখতে"-এর মতো গানে প্রভাব ফেলেছিলেন।

১৯৭০ দশকের শুরুতে
নওশাদের সাহচর্য্যে
বোম্বে আগমন
দেহাবসান