নওশাদের পিতার কাছ থেকে একটি সুপারিশ পত্র এনে মোহাম্মদ রফি তাকে দেখান।
১৯৪৪ সালে "পেহলে আপ" ছবিতে নওশাদের নির্দেশনায় রফি তার প্রথম গান হিসেবে ""হিন্দুস্তান কে হাম হে"" গান। ১৯৪৬ সালে দ্বৈত সঙ্গীতরূপে "আনমল ঘড়ি"তে গান রেকর্ড করেন। মোহাম্মদ রফি'র পূর্বে নওশাদের প্রিয় কণ্ঠশিল্পী ছিলেন উপমহাদেশের অন্যতম ও জনপ্রিয় কণ্ঠশিল্পী তালাত মাহমুদ। একদিন রেকর্ডিং চলাকালীন সময়ে তালাত মাহমুদকে ধুমপানরত অবস্থায় দেখতে পান নওশাদ। এতে তিনি তার প্রতি ভীষণভাবে ক্ষিপ্ত হন ও রাগ করেন। ফলে "বৈজু বাওরা" ছবির সকল গানেই মোহাম্মদ রফিকে অন্তর্ভুক্ত করেন নওশাদ। নওশাদের সাহচর্য্যে রফি নিজেকে হিন্দী সিনেমার ভুবনে অপ্রতিদ্বন্দ্বী ও কিংবদন্তি নেপথ্য কণ্ঠশিল্পী হিসেবে প্রতিষ্ঠিত করেছিলেন। বৈজু বাওরা (১৯৫২) ছবির গান হিসেবে - "ও দুনিয়া কে রাখওয়ালে" এবং "মন তারপাত হরি দর্শন কো আজ" রফি'র কণ্ঠকে অবিসংবাদিত তারকা খ্যাতি এনে দেয়। নওশাদের দিক-নির্দেশনায় সর্বমোট ১৪৯টি সঙ্গীত পরিবেশন করেন রফি। তন্মধ্যে তার "সলো" বা একক সঙ্গীত ছিল ৮১টি।

ও পি নায়ারের সঙ্গে
নওশাদের সাহচর্য্যে
গীতিকার মদন মোহনের সঙ্গে
লতা মঙ্গেশকর