પંજાબના (બ્રિટીશ સમયનું ભારત) અમૃતસર નજીક આવેલા કોટલા સુલતાન સિંઘ ગામમાં હાજ્જી અલી મોહમ્મદના છ પુત્રોમાંથી મોહમ્મદ રફી સૌથી નાના હતા. 
તેમણે ગામના એક ફકિરની નકલ કરતા કરતા ગાવાનું શરૂ કર્યું, આથી રફીને ફિકોના હુલામણા નામથી ઓળખવામાં આવતા. 1935-36માં રફીના પિતા લાહોર ગયા અને બાદમાં તેમના પરિવારે પણ તેમની પાછળ સ્થળાંતર કર્યું. રફીના કુટુંબે લાહોરના નૂર મોહલ્લામાં પુરુષો માટેનું એક સલૂન ખરીદ્યુ. 

તેમના સાળા મોહમ્મદ હમીદ હતા કે જેમણે રફીની આવડતને પારખી અને તેમને પ્રોત્સાહિત કર્યા. રફીએ ઉસ્તાદ બડે ગુલામ અલી ખાન, ઉસ્તાદ અબ્દુલ વાહિદ ખાન, પંડિત જીવનલાલ મટ્ટો અને ફિરોઝ નિઝામી પાસે શાસ્ત્રીય સંગીત શીખ્યા. રફીએ 13 વર્ષની વયે પોતાની પ્રથમ જાહેર રજૂઆત કરી હતી, કે. એલ. સેયગલ માટેના એક સંગીત જલસામાં તેમને ગાવાની તક મળી. 1941માં પંજાબી ફિલ્મ "ગુલ બાલોચ" માં (1944માં ફિલ્મ રજૂ થઈ) ઝિનત બેગમ સાથે "સોનિયે ની, હીરિયે ની" ગીતમાં શ્યામ સુંદર હેઠળ રફીએ પાર્શ્વ ગાયક તરીકેનું પોતાનું પ્રથમ ગીત ગાયું. આજ વર્ષે લાહોર સ્થિત ઓલ ઈન્ડિયા રેડિયો સ્ટેશને તેમને રેડિયો માટે ગાવા માટેનું આમંત્રણ આપ્યું. તેમણે પોતાની પ્રથમ શરૂઆત શ્યામ સુંદર-દિગદર્શિત 1941માં ગુલ બાલોચથી કરી, અને પછીના વર્ષોમાં ધી બોમ્બે તેમજ ગાવ કી ગોરી જેવી ફિલ્મોમાં ગીતો આપ્યા. રફીએ કેટલીક ફિલ્મો જેવી કે લૈલા-મજનૂ (1945) અને જુગનુમાં નાની ભૂમિકાઓ પણ ભજવી. લૈલા મજનૂમાં તેરા જલ્વા ગીતમાં તેમણે સમૂહગાનના ભાગરૂપે ગાયું હતું.

શરૂઆતના દિવસો અને પૃષ્ઠભૂમિ
મૃત્યુ
બોમ્બેમાં આગમન
શંકર-જયકિશન સાથેની જોડી