1944માં રફી બોમ્બે (આજનું મુંબઈ) આવ્યા, ભાઈઓએ ભેગા મળીને ભીંડી બજારના ગીચ વસ્તીવાળા વિસ્તારમાં દસ બાય દસની રૂમ લીધી. અહીં કવિ તનવિર નકવીએ તેમને કેટલાક ફિલ્મ નિર્માતાઓ અબ્દુલ રશિદ કારદાર, મહેબૂબ ખાન, અને અભિનેતા-દિગદર્શક નાઝિર સાથે ઓળખાણ કરાવી આપી. ચોપાટીના દરિયા કિનારે સવારના સમયે લાંબા કલાકો સુધી તેઓ રિયાઝ કરતા. શ્યામ સુંદર મુંબઈમાં હતા અને તેમણે ફરી એકવાર રફીને તક આપી- જીએમ દુર્રાની સાથે ગાંવ કી ગોરીમાં યુગલ ગીત 'અજી દિલ હો કાબુમેં તો દિલદાર કી ઐસી તૈસી...' ગાયું, જે હિન્દી ફિલ્મોમાં રફીનું પ્રથમ રિકોર્ડેડ ગીત હતું. જે બાદ તેમણે બીજા ઘણા ગીતો ગાયા.

1948માં મહાત્માગાંધીની હત્યા બાદ, હુસેનલાલ ભગતરામ-રાજેન્દ્ર ક્રિશ્ના-રફીના જૂથે મળીને રાતો રાત ‘સુનો સુનો એ દુનિયાવાલોં, બાપુજી કી અમર કહાણી’ નામનું એક ગીત તૈયાર કર્યું. વડાપ્રધાન જવાહરલાલ નહેરુ દ્વારા તેમને આ ગીત ગાવા માટે ગાંધીજીના ઘરે બોલવવામાં આવ્યા હતા. 1948માં સ્વતંત્રતા દિને નહેરુ દ્વારા રફીને મેડલથી નવાજવામાં આવ્યા હતા. 1949માં રફીએ સંગીતકાર નૌસાદ સાથે "ચાંદની રાત","દિલ્લગી", અને શ્યામ સુંદર સાથે "દુલારી" , "બાઝાર" તેમજ હુસેનલાલ ભગતરામ સાથે "મિનાબાજાર" માં વ્યક્તિગત ગીતો પણ ગાયા. "હિન્દુસ્તાન કે હમ હૈ" રફીનું નૌસાદ સાથેનું પ્રથમ ગીત હતું, જેમાં શ્યામ કુમાર, અલાઉદ્દીન અને અન્ય પણ હતા, જે એ.આર. કારદેરની ફિલ્મ "પહેલે આપ" માંથી હતું (1944) આજ સમયગાળા દરમિયાન રફી 1945માં "ગાંવ કી ગોરી" ફિલ્મ માટે "અજી દિલ હો કાબુ મેં" ગીત રેકોર્ડ કર્યું હતું. તેમણે આ ગીતને હિન્દીભાષામાં પોતાનું પ્રથમ ગીત ગણાવ્યું. 

રફી બે ફિલ્મોમાં પણ દેખાયા હતા. 1945માં રફી "લૈલા મજનુ" ફિલ્મમાં "તેરા જલવા જિસને દેખા" ગીતમાં પરદા પર જોવા મળ્યા. સમૂહગાન તરીકે તેમણે નૌસાદ માટે અનેક ગીતો ગાયા, જેમાં "મેરે સપનો કી રાની", "શાહજહાન" (1946) ફિલ્મમાં કે. એલ. સૈયગલ સાથે "રુહી રુહી"નો સમાવેશ થાય છે. મેહમુદ ખાનની "અનોમલ ઘડી" (1946) ફિલ્મનું "તેરા ખિલૌના ટુટા બાલક" અને 1947માં "જુગ્નુ" ફિલ્મમાં "યહાં બદલા વફા કા" ગીત નૂર જહાં સાથે ગાયું.ભારતના ભાગલા બાદ રફીએ ભારતમાં જ રોકાઈ જવાનો નિર્ણય કર્યો, અને તેમનું કુંટુંબ મુંબઈ આવી ગયું. તો આ તરફ નૂર જહાં પાકિસ્તાન સ્થળાંતરિત થાય અને તેમણે ગાયક અહમદ ઋષિ સાથે જોડી બનાવી. રફી તે સમયના ગાયકો જેવા કે, કે. એલ. સયગલ, તલત મહોમ્મદ અને ખાસ જાણીતા જી. એમ. દુર્રાનીથી ખૂબ પ્રભાવિત હતા, જેમની શૈલી રફીની ગાયકીમાં જોવા મળતી. તેમણે પોતાના આ પ્રેરણામૂર્તિ સાથે પણ કેટલાક ગીતો ગાયા, જેવા કે ""હમકો હંસતે દેખ જમાના જલતા હૈ" " (હમ સબ ચોર હૈ, 1959) અને ""ખબર કિસીકો નહીં વો કિધર દેખતે" " (બેકસૂર, 1950) વિગેરે.

બોમ્બેમાં આગમન
રેકોર્ડિંગ કારકિર્દી
મદન મોહન સાથેની જોડી
શરૂઆતના દિવસો અને પૃષ્ઠભૂમિ