রক্ষণশীল পরিবার থেকে উঠে আসলেও কলিম শরাফী সাংস্কৃতিক কর্মকান্ডে নিজেকে সবসময়ে নিয়োজিত রেখেছেন। ১৯৪৪ সালে তিনি ইন্ডিয়ান পিপলস থিয়েটার এ্যাসোসিয়েশন (আইপিটিএ)-তে যোগ দিয়ে কলকাতার হাজারা পার্কে হাজার হাজার দর্শকশ্রোতার উপস্থিতিতে সর্বপ্রথম গণসঙ্গীত পরিবেশন করেন। এরপর ১৯৪৬ সালে বিখ্যাত গ্রামোফোন কোম্পানি এইচএমভি থেকে বের হয় কলিম শরাফীর প্রথম গণসঙ্গীতের রেকর্ড। প্রায় সাথে সাথেই নিয়মিত শিল্পী হিসেবে তালিকাভুক্ত হন কলকাতা বেতারে। এরপর শুভ গুহঠাকুরতার রবীন্দ্র সঙ্গীত শেখাবার প্রতিষ্ঠান 'দক্ষিণী'তে নিয়মিত রবীন্দ্র সঙ্গীত চর্চা শুরু করেন। এক সময় কলিম শরাফী দক্ষিণীতে যোগ দিয়েছিলেন শিক্ষক হিসেবে। দক্ষিণীতে কলিম শরাফী সঙ্গীতগুরু দেবব্রত বিশ্বাস, হেমন্ত মুখোপাধ্যায় ও সুচিত্রা মিত্রের সাহচর্য পেয়েছিলেন। ১৯৪৮ সালে নীতিগত বিরোধের কারণে মহর্ষি মনোরঞ্জন ভট্টাচার্য, শম্ভু মিত্র, তৃপ্তি মিত্র, অশোক মজুমদার, মোহাম্মদ ইসরাইল, কলিম শরাফী প্রমুখ আইপিটিএ থেকে বেরিয়ে এসে গঠন করেন নাট্যসংস্থা 'বহুরূপী'।

১৯৪৭ এ দেশ বিভাগের পর কলকাতায় আবার শুরু হয় সাম্প্রদায়িক দাঙ্গা। এসময় কর্মহীন হয়ে পড়েন কলিম শরাফী। ১৯৫০ সালে তিনি তার স্ত্রী কামেলা খাতুন ও একমাত্র শিশুকন্যাকে নিয়ে চলে আসেন ঢাকায়। ঢাকায় এসেই ক্যাজুয়াল আর্টিস্ট হিসেবে যোগ দেন রেডিওতে। ১৯৫১ সালে ঢাকা ছেড়ে তিনি চলে যান চট্টগ্রামে। গড়ে তোলেন 'প্রান্তিক' নামে একটি সংগঠন। ১৯৫৬ সালে শেরে বাংলার মন্ত্রিসভাকে বরখাস্ত করে সেকশন নাইনটি টু জারি করার ফলে কলিম শরাফীকে আত্মগোপন করতে হয়। সে বছরের শেষ দিকে তিনি আবার ঢাকায় ফিরে আসেন। ঢাকায় 'হ-য-ব-র-ল' নামে একটি সংগঠনগড়ে তোলেন। এ সংগঠনের ব্যানারেই মঞ্চস্থ করেন 'তাসের দেশ' নাটকটি। সে সময় কলিম শরাফীর সহযোগী ছিলেন ড. আনিসুর রহমান ও ড. রফিকুল ইসলাম। ১৯৫৭ সালে চলচ্চিত্রে প্রথমবারের মতো কলীম শরাফী রবীন্দ্র সঙ্গীত গান "আকাশ আর মাটি" চলচ্চিত্রে। এরপর ১৯৫৮ সালে কলিম শরাফীর গান রেডিওতে সম্প্রচার নিষিদ্ধ করা হয়। স্বাধীনতা পর্যন্ত এই নিষেধাজ্ঞা বহাল ছিলো।

কলিম শরাফী ১৯৬২ সালে "সোনার কাজল" চলচ্চিত্রে পরিচালক হিসেবে দায়িত্ব পালন করেন। সেখানে সহকারী পরিচালক হিসেবে কাজ করেছিলেন পরবর্তী প্রখ্যাত চলচ্চিত্রকার জহির রায়হান। এ সময় কলিম শরাফীর সঙ্গীত পরিচালনায় নির্মিত প্রামাণ্য চিত্র 'ভেনিস' আন্তর্জাতিক পুরস্কার অর্জন করে। তারপর 'সূর্যস্নান ছবিতে "পথে পথে দিলাম ছড়াইয়া রে" গানটি গেয়ে তিনি শ্রোতামহলে ব্যাপক জনপ্রিয়তা পান। এছাড়া কবিয়াল রমেশ শীলের জীবন নিয়ে একটি তথ্য চিত্রও নির্মাণ করেন কলিম শরাফী। ১৯৬৪ সালে ঢাকায় প্রথম টিভি সেন্টার চালু হলে তিনি সেখানে প্রোগ্রাম ডিরেক্টর পদে যোগ দেন। কলিম শরাফী ১৯৬৯ সালে সত্যেন সেনের সঙ্গে উদীচীর কর্মকাণ্ডে যোগ দেন এবং ১৯৭৭ থেকে প্রায় অনেকগুলো বছর সভাপতি ও সংগঠকের দায়িত্ব পালন করেন। ১৯৭৯ সালে গঠিত হয় 'জাহিদুর রহিম স্মৃতি পরিষদ'। কলিম শরাফী এই উদ্যোগের প্রতিষ্ঠাতা আহবায়ক। পরে এই 'জাহিদুর রহিম স্মৃতি পরিষদ'ই 'জাতীয় রবীন্দ সঙ্গীত সম্মিলন পরিষদ'-এ পরিণত হয়।

কলিম শরাফী ১৯৮৩ সালের এপ্রিলে 'সঙ্গীত ভবন' নামে একটি সঙ্গীত বিদ্যালয় গড়ে তোলেন । প্রতিষ্ঠাকাল থেকেই শিল্পী কলিম শরাফী এ প্রতিষ্ঠানের অধ্যক্ষের দায়িত্ব পালন করেছেন। কলিম শরাফী একাধিক চলচ্চিত্রে কন্ঠদান করেছেন ৷ "স্মৃতি অমৃত" তার প্রকাশিত গ্রন্থ ৷ তার গানের পনেরোটি ক্যাসেট ও তিনটি সিডি ক্যাসেট প্রকাশিত হয়েছে ৷ তিনি শিল্পকলা একাডেমী কাউন্সিল ও শিশু একাডেমী কাউন্সিলের সদস্য হিসেবে দায়িত্ব পালন করেছেন। তিনি বাংলাদেশ বেতার টিভি শিল্পী সংস্থা, বাংলাদেশ রবীন্দ্র সঙ্গীত শিল্পী সংস্থা ও নাগরিক নাট্য অঙ্গন-এর প্রেসিডেন্ট ছিলেন।

সুদীর্ঘ সাংস্কৃতিক জীবনে কলিম শরাফীর মাত্র ৫টি এ্যালবাম প্রকাশিত হয়েছে। এগুলোর নাম হলো - এই কথাটি মনে রেখো, আমি যখন তার দুয়ারে, কলিম শরাফীর যত গান, রবীন্দ্রনাথ ঠাকুরের গান এবং জ্যোতিরিন্দ্র মৈত্রের কথা ও সুরে নবজীবনের গান।

মৃত্যু
সাংস্কৃতিক কর্মকাণ্ড
রাজনৈতিক জীবন
রাষ্ট্রীয় ও বেসরকারি স্বীকৃতি