सुरुवातीच्या काळात अब्दुल करीम खॉं साहेब आपले बंधू अब्दुल हक यांचेबरोबर गात असत. बडोदा संस्थानाचे राजे या बंधूंच्या गायकीवर खुश झाले व त्यांनी दोन्ही बंधूंची दरबारात गायक म्हणून नियुक्ती केली.

अब्दुल करीम खॉं साहेबांना म्हैसूर राज दरबारात गायनासाठी निमंत्रित करण्यात आले होते. तिथे त्यांची गाठ कर्नाटकी संगीतातील अनेक सुप्रसिद्ध गायक प्रभृतींशी(??) पडली. त्यांच्या गायनाचा प्रभाव अब्दुल करीम खॉं साहेबांच्या गायकीवरही पडला. त्यांनी कर्नाटकी संगीताचा कसून अभ्यास केला. कर्नाटकी संगीतातील अनेक वैशिष्ट्ये त्यांच्या गायकीतही दिसून येत असत. ते फक्त उत्तर भारतातच नव्हे तर दक्षिण भारतातही आपल्या गाण्यासाठी लोकप्रिय होते. दक्षिण भारतात त्यांना अनेक ठिकाणांहून गाण्याचे कार्यक्रम करण्यासाठी खास बोलाविले जाई. त्यांनी दाक्षिणात्य कवी त्यागराज यांच्या कृतीही ध्वनिमुद्रित केल्या आहेत.. अनेकदा लोक तिथे त्यांच्या गळ्यात मोठमोठे हार घालून त्यांचे स्वागत करण्याबरोबर त्यांची मिरवणूकही काढत असत. खॉं साहेब वैयक्तिक आयुष्यात मात्र अतिशय साधे होते. म्हैसूर राजदरबारी ते नित्य नियमाने हजेरी लावत असत. त्यांना तिथे 'संगीत रत्‍न' उपाधी देऊन गौरविण्यात आले. म्हैसूरच्या वाटेवर ते धारवाडला आपल्या भावाकडे मुक्काम करत असत. तिथेच त्यांनी आपले ख्यातनाम शिष्य सवाई गंधर्व यांना गाणे शिकविले. इ.स. १९०० मध्ये आठ महिने त्यांनी सूरश्री केसरबाई केरकर यांनाही गाणे शिकविले. पुढे केसरबाईंनी गायन क्षेत्रात खूप नाव कमावले. 

इ.स. १९१३ मध्ये अब्दुल करीम खॉं साहेबांनी पुणे येथे आर्य संगीत विद्यालयाची स्थापना केली. येथे ते भविष्यातील गायक तयार करू लागले. अनेक गरीब पण हुशार विद्यार्थ्यांनाही त्यांनी गाणे शिकविले, तसेच आपल्याबरोबर संगीत दौऱ्यांतही ते त्यांना साथीला घेऊन जात असत. त्यांनी त्यांना वेगवेगळी वाद्ये वाजविण्यास प्रोत्साहन दिले व वादन कलेत निपुणही केले. अब्दुल करीम खॉं साहेबांना वाद्यांविषयीही कमालीचा जिव्हाळा होता. ते वाद्ये दुरुस्त करण्यात पटाईत होते. त्यांच्याजवळ वाद्ये दुरुस्तीसाठी लागणारी सामग्री सदैव असे. मिरज येथील नामवंत सतार व तानपुरा बनविणारे कारागीर देखील त्यांचा सल्ला शिरोधार्थ मानत व अनेकदा त्यांचे मार्गदर्शन घेत असत.
आर्य संगीत विद्यालयाची दुसरी शाखा इ.स. १९१७ मध्ये मुंबई येथे सुरू झाली. परंतु ती दोन - तीन वर्षांपलीकडे जास्त टिकली नाही. नंतर ते मिरज येथे स्थायिक झाले व इ.स. १९३७ मध्ये त्यांचा मृत्यू होईपर्यंत त्याच गावी राहिले. 

त्यांच्या 'जमुना के तीर', 'गोपाला करुणा क्यूं नही आवे', 'पिया के मिलन की आस', 'नैना रसीले', 'पिया बीन नही आवत चैन' यांसारख्या अजरामर ध्वनिमुद्रणांनी आजही ते रसिकांच्या हृदयात घर करून आहेत.

दर वर्षी त्यांच्या स्मृतिप्रीत्यर्थ ऑगस्ट महिन्यात मिरज येथे मोठा संगीत महोत्सव साजरा होतो. भारतातील नामी कलावंत तेव्हा येऊन आपली कला सादर करतात व उस्तादांच्या प्रती आपला आदर व्यक्त करतात.

पूर्वायुष्य
शिष्य
ध्वनिमुद्रिका
सांगीतिक कारकीर्द