আবদুর রহমান একজন সাহিত্যিক হিসেবেও প্রতিষ্ঠা অর্জন করেন। অনুবাদ, প্রবন্ধ ও জীবনী রচনার ক্ষেত্রে তার দক্ষতা সকলের প্রশংসা অর্জন করে। কুরআন ও হাদিসের বঙ্গানুবাদ তার বিশেষ কীর্তি। ""বাংলা সাহিত্যের ইতিবৃত্ত (আধুনিক যুগ)"" এর লেখক অধ্যাপক মুহম্মদ আবদুল হাই আবদুর রহমান খাঁ সম্পর্কে মন্তব্য করতে গিয়ে বলেন, "বাংলা সাহিত্যে পবিত্র কুরআন হাদিসের অনুবাদ এবং ইসলামের মর্ম ব্যাখ্যার জন্য আবদুর রহমান খাঁর নাম স্মরণীয় থাকবে।"তার অধিকাংশ রচনাই  ইসলাম ধর্ম ও সংস্কৃতিবিষয়ক। তার উল্লেখযোগ্য কয়েকটি গ্রন্থ হলো:


কর্মজীবন
মৃত্যু
জন্ম ও শিক্ষা
সাহিত্য চর্চা