તેમના સાળા મોહમ્મદ હમીદ હતા કે જેમણે રફીની આવડતને પારખી અને તેમને પ્રોત્સાહિત કર્યા. રફીએ ઉસ્તાદ બડે ગુલામ અલી ખાન, ઉસ્તાદ અબ્દુલ વાહિદ ખાન, પંડિત જીવનલાલ મટ્ટો અને ફિરોઝ નિઝામી પાસે શાસ્ત્રીય સંગીત શીખ્યા. રફીએ 13 વર્ષની વયે પોતાની પ્રથમ જાહેર રજૂઆત કરી હતી, કે. એલ. સેયગલ માટેના એક સંગીત જલસામાં તેમને ગાવાની તક મળી.  1941માં પંજાબી ફિલ્મ ગુલ બાલોચ માં (1944માં ફિલ્મ રજૂ થઈ) ઝિનત બેગમ સાથે "સોનિયે ની, હીરિયે ની"  ગીતમાં શ્યામ સુંદર હેઠળ રફીએ પાર્શ્વ ગાયક તરીકેનું પોતાનું પ્રથમ ગીત ગાયું.  આજ વર્ષે <MASK> સ્થિત ઓલ ઈન્ડિયા રેડિયો સ્ટેશને તેમને રેડિયો માટે ગાવા માટેનું આમંત્રણ આપ્યું.
મોહમ્મદ રફી
બોમ્બે મુંબઈ લાહોર બિલેશ્વરપુરા