আনুমানিক ১৩৮১ খ্রিষ্টাব্দে রাজা শ্রীমন্তরায়(৬শ ৩৮ বছরপূর্বে)অ‌বিভক্ত ভারত বর্ষের রাজস্তানের রাজপুতনার দ‌ক্ষিণ রাঢ় অঞ্চল হতে বর্তমান ফ‌রিদপুর জেলার আলফাডাঙ্গা থানার সাবেক নড়াইল মহকুমার যশোর জেলায় এসে গ্রামের নাম 'পানাইল' রেখে বস‌তি স্থাপন করেন। পরবর্তী কালে ওই রাজ পরিবারের রাজা শ্রীমন্ত রায় সঙ্গীয় লোকজন নিয়ে হ‌বিগঞ্জ জেলার পুটিজুড়িতে বস‌তি স্থাপন করেন। 
পরে সুনামগঞ্জ জেলার বর্তমান দোয়ারাবাজার উপজেলার 'জলশ্রী' নামে খ্যাত এলাকায় অবস্থান করেন । পরবর্তীতে তি‌নি ওই পরগনার সুরমা নদীর দ‌ক্ষিণ তীর সংলগ্ন রাজনপুর নামক স্থানে বস‌তি স্থাপন করেন। কিছু দিন সেখানে অবস্থান করে উক্ত স্থানের উত্তরপূর্ব দিকে যশোরের আলফাডাঙ্গা থানার পানাইল গ্রামের নামেই 'পানাইল' রেখে সেখানে স্থায়ীভাবে বসবাস করেন। যা আজোবদি বিদ্যামান। এ‌টিই পানাইল জ‌মিদার বাড়ী হি‌সেবে খ্যাত। 
উল্লেখ্য,রাজা শ্রীমন্ত রায়ের পুত্র রাজা নরোত্তম রায়,তার পুত্র পুরুষোত্তম রায় জৈনক মোগল সম্রাটের প্রশাসনের মসনদার, বকশী‌গি‌রি পরে পেশকার পদে নিযুক্ত হন। তার পুত্র পৃ‌থ্বিধর রায় দোহা‌লিয়া পরগনা (পানাই‌ল) ও হব‌িগঞ্জের প‌ু‌টিজু‌ড়ি পরগনার যৌথ জ‌মিদার ও চৌধুরী নিযুক্ত হন।
পৃ‌থ্বিধর রায়ের এক পুত্র জিতান্মৃত রায়, তার দুই পুত্র রাজা সিংহরায় ও রাজা শিবচন্দ্র রায় ছিলেন। পরবর্তীতে রাজাসিংহ রায় হবিগঞ্জের পুটিজুড়িতে ও রাজা শিবচন্দ্র রায় দোহা‌লিয়া পরগনার পানাইলে জ‌মিদারী প‌রিচালনা করেন। 
দোহা‌লিয়া পরগনার জ‌মিদার রাজা শিবচন্দ্র রায়ের তিন পুত্র,রাজা ধর্ম নারায়ন,রাজা রাজেন্দ্র নারায়ন,রাজা যশোমন্ত রায়। রাজা 
যশোমন্ত রায়ের এক পুত্র রাজা প্রেম নারায়ন রায়। তি‌নি ১৫৮১ খ্রীস্টাব্দে মুসলমান হন। তার নাম হয় রাজা মোহাম্মদ ইসলাম। 
আর এরপর থেকেই এই জমিদার বংশধররা হিন্দু মুসলিম ধমে বিভক্ত হয়ে পরে। 
পানাইল জমিদার বাড়ি ও এ বংশেই জন্ম নেন ভারত উপমহাদেশের ব্রি‌টিশ বিরোধী আন্দোলনের অগ্রপ‌থিক জ‌মিদার কুশাল রায় চৌধুরী (১৭৮৩_৯৩)। 
এখানে উল্লেখ্য যে, পার্শ্ববর্তী সুরমা নদীর উত্তর তীরে অবস্থিত বরা‌কিয়া পরগনার ততকালীন জ‌মিদার গঙ্গাসিংহ একই সময় এই দুজনেই চরম ব্রি‌টিশ বিরোধী ছিলেন। (রেফারেন্স সিলেট ডি‌স্ট্রিক রেকড ব‌লিউম ৩, ১৭৭০ খ্রিষ্টাব্দ)।
এই বংশের উ‌কিল ও মেজিস্ট্রেট গুরুচরণ রায় তারই সন্তান। তিনি সদ্য প্র‌তি‌ষ্ঠিত (১৯২১) ঢাকা বিশ্ব‌বিদ্যালয়ে অর্থনী‌তিতে প্রথম শ্রেণীতে প্রথম হয়ে ভারতীয় পু‌লিশ সা‌র্ভিস পরীক্ষায় প্রথম শ্রে‌নিতে উত্তীর্ণ হয়ে অ‌বিভক্ত ভারতের আসাম বিভাগের পু‌লিশ সুপার নি‌যুক্ত হন। 
সাবেক জেলা প্রশাসক মান্নাত কুমার রায়, ডেপু‌টি ম্য‌াজি‌স্ট্রেট মন‌ মোহন রায়, কমুদ রঞ্জন চৌধুরী (জী‌বিত উত্তরা‌ধিকারী সুদীপ কুমার রায় চৌধুরী'প্রদীপ কুমার, অ‌নিক কুমার,প্রণব কুমার,প্রার্থ কুমার)ছাড়াও পানাইল জ‌মিদার বংশের (হিন্দু সম্প্রদায়ের)লোকজন বি‌ভিন্ন সরকারি বেসরকারি উচ্চ পদস্থ কাজ করমে নিয়োজিত ছিলেন। 
অপরদিকে পানাইল জ‌মিদার বংশের মুস‌লিম অংশের খ্যা‌তিমান লো৷কজনের মধ্যে রাজা মোহাম্মদ ইসলামের দুই পুত্র বা‌ছির ও না‌ছির। রাজা মোহাম্মদ বা‌ছির,রাজা মোহাম্মদ না‌ছির স্বীয় পিতার প্র‌তিষ্ঠিত মাদরাসায় আরবী,ফারসী শিক্ষায় শি‌ক্ষিত হন। রাজা বা‌ছির এর পুত্র রাজা মোহাম্মদ না‌জিম ওরফে মাসুম মুরশিদাবাদে পড়াশোনা করেন।(১৬৩১ খ্রি)। তৎকালে তি‌নি সুনামের সংগে ফারসী ভাষায় সবোচ্চ ডিগ্রী অর্জন করেন। তখনকার দিনে বাংলা,বিহার ও উ‌ড়িষ্যার নবাব আল‌ীবর্দী খা ও রাজা মোহাম্মদ না‌জিম ওরফে মাসুম একই সংগে পড়াশোনা করেন। ততকালে রাজা মাসুম উক্ত প্র‌তিষ্ঠান হতে স‌র্বোচ্চ ডিগ্রী অর্জন করায় নওয়াব আলীবর্দীখা তাকে'দেওয়ান'অর্থাৎ রাজস্ব মন্ত্রী পদে দোহা‌লিয়া পরগনায়(বর্তমান দোয়ারাবাজার উপজেলা) নিয়োগ করেন। একই প্রতিষ্ঠানে পড়াশোনার সুবাদে নওয়াব আলীবর্দীখা ও মাসুম সাহেবের মধ্যে বন্ধুত্বপুন সম্পর্ক গড়ে উঠে। নওয়াব আলীবর্দীখা রাজা মুহাম্মদ মাসুম কে বন্ধুতের নিদর্শন স্বরূপ তিন‌টি উপহার (হা‌তির দাঁতের তৈরী পাখা,মোহর,হা‌তির দাঁতের সুরমাদানী)দেন। তি‌ন‌টির ম‌ধ্যে এক‌টি হা‌তির দাঁতের তৈরী পাখা এখনো সিলেট কে‌মুসাস ও ভাষা সৈ‌নিক ম‌তিন উ‌দ্দিন আহমদ জাদুঘরে বিদ্যামান রয়েছে। ‌
একই বং‌শের শিক্ষা‌বিদ ও রাজনী‌তি‌বিদ দেওয়ান ছনুবুর রাজা চৌধুরী। তি‌নি ১৮৬৫ সালে এন্ট্রাস পাশ করে ঢাকা আ‌লিয়া মাদরাসার শিক্ষক হন। তৎকালীন ঢাকার ডি‌স্ট্রিক ম্যাজিস্ট্রিট ও সাব রে‌জিষ্টার পদে নিযুক্ত হন। ১৮৭৪ সালে সিলেট ডি‌স্ট্র্রিক ঢাকা বিভাগ থেকে আলাদা হওয়ার পর তি‌নি চাকুরী ছেড়ে দিয়ে সিলেটের জনগ‌ণের বি‌ভিন্ন অ‌ধিকার আদায়ের জন্য তি‌নি ও পৃ‌থিমপাশার জ‌মিদার আলী আমজাদ সাহেবের পিতাসহ সিলেটের অন্যান্য রাজনৈতিক নেতৃবৃন্দ এখানে কলকাতার গভর্নর নর্থব্রুক কে সিলেটে এনে সংবর্ধনা দিয়ে বিশ্ব‌বিদ্যালয় প্র‌তিষ্ঠা সহ জনগণের দা‌বি দাওয়া আদায় করেন। জমিদার দেওয়ান মুহাম্মদ আসফ তি‌নিও রাজনী‌তি‌বিদ ছিলেন। (জাতীয় অধ্যাপক দেওয়ান মোহাম্মদ আজরফের পিতা) তৎকালীন আসাম বিভা‌গ কং‌গ্রেসের সভাপ‌তি এবং খেলাফত আন্দোলনের সহসভাপ‌তি ছিলেন। ভারতীয় উপমহাদেশের ইসলামী রেনেসাঁ ও জাতীয়তাবাদী আদর্শের বিপ্লবী সৈনিক,আসাম প্রদেশ মুসলিম লীগের সহ সভাপতি,নিখিল ভারত মুসলিম লীগের সদস্য দেওয়ান মোহাম্মদ আহবাব চৌধুরী। দেওয়ান আহবাব চৌধুরীর পুত্র দেওয়ান গোলাম ম‌হিউ‌দ্দিন। তার সন্তান ব্যা‌রিষ্টার দেওয়ান আল মেহদী লন্ডনে বসবাস করেন। 
দার্শনিক দেওয়ান মোহাম্মদ আজরফ চৌধুরী। আজরফ চৌধুরী বাংলাদেশের একজন জাতীয় অধ্যাপক হিসেবে ভূষিত হন। এছাড়াও তিনি একুশে পদকসহ অসংখ্য পদক লাভ করেন। তার সন্তানদের মাঝে বাংলাদেশের ডেপুটি অ্যার্টনী জেনারেল দেওয়ান এমএ জামান, লেখক,সাহিত্য‌িক সাদিয়া চৌধুরী পরাগ,
লেখক সাংবাদিক আবু সাঈদ জুবেরী। 
বর্তমানে এই জমিদার বংশধরদের অধিকাংশই বিদেশে থাকেন। তবে জম‌িদার বংশের বর্তমান প্রজন্মের লোকজন জমিদার বাড়িতে বসবাস করেন। তাদের মধ্যে লেখক_গবেষক দ‌েওয়ান মুফিদ রাজা চৌধুরী,দেওয়ান মাহবুব রাজা চৌধুরী,দেওয়ান তানভির আশরফি চৌধুরী বাবু বসবাস করেন।

তথ্যসূত্র
জমিদার বাড়ির মসজিদ
বর্তমান অবস্থা
ইতিহাস