তিনি শহীদ সোহরাওয়ার্দীর ব্যক্তিগত সহকারী হিসেবে রাজনীতি ও আইন পেশায় নিজের কর্মজীবন শুরু করেন। ১৯৬০ সালে পিতার মৃত্যুর পর সিলেটে ফিরে আসেন এবং পেশাজীবী আইনজীবি হিসেবে কর্ম জীবন শুরু করেন। এডভোকেট আব্দুর রহিম ১৯৬২ সালে ন্যাপে যোগদান করেন। এসময় ১৯৬৭-৬৯ পর্যন্ত তিনি সিলেট জেলা ন্যাপের ( মুজাফ্ফর) আহবায়কের দায়িত্ব পালন করেন। ন্যাপ বিভক্তির পর তিনি আওয়ামীলীগের যোগদান করেন। এডভোকেট আব্দুর রহিম ১৯৬০ ও ১৯৬৫ সালে পাকিস্থান জাতীয় পরিষদ নির্বাচনে অংশগ্রহণ করে নির্বাচিত না হলেও ১৯৭০ সালে আওয়ামীলীগের প্রার্থী হিসেবে আসন ১২৬, সিলেট-৭ (বিয়ানীবাজার-জকিগঞ্জ-কানাইঘাট) নির্বাচনী এলাকা থেকে পাকিস্থানের স্থানীয় গণ পরিষদের সদস্য (এমএনএ) নির্বাচিত হন।এডভোকেট আব্দুর রহিম ১৯৭৩ সালে সিলেট-৬ (গোলাপগঞ্জ-বিয়ানীবাজার) আসন থেকে জাতীয় সংসদের সদস্য নির্বাচিত হন। বাংলাদেশের সংবিধান প্রণয়নে ড. কামাল হোসেনের সাথে এডভোকেট আব্দুর রহিম কাজ করেছেন। এডভোকেট আব্দুর রহিম দীর্ঘদিন সিলেট বারের সাধারণ সম্পাদক ও সভাপতি হিসেবে দায়িত্ব পালন করেন। ১৯৭৬ সালে সিলেট জেলা আওয়ামীলীগ এর সভাপতি নির্বাচিত হয়ে আমৃত্যু এ পদে বহাল ছিলেন। এছাড়াও তিনি কেন্দ্রীয় নির্বাহী কমিটির সদস্য ছিলেন।

শিক্ষাজীবন
মৃত্যু
মুক্তিযুদ্ধ
রাজনীতি