১৯২৯ সালের ৯ মার্চ জিল্লুর রহমান কিশোরগঞ্জ জেলার ভৈরবে জন্মগ্রহণ করেন। তার বাবা মেহের আলী মিঞা ছিলেন একজন আইনজীবী, তৎকালীন ময়মনসিংহের লোকাল বোর্ডের চেয়ারম্যান এবং জেলা বোর্ডের সদস্য। তার স্ত্রী আইভি রহমানও বাংলাদেশ আওয়ামী লীগের একজন রাজনীতিবিদ ছিলেন। ২০০৪ সালের ২১ আগস্ট রাজধানী ঢাকার বঙ্গবন্ধু এভিনিউয়ে আওয়ামী লীগের সমাবেশে গ্রেনেড হামলায় জিল্লুর রহমান তার সহধর্মিনী ও মহিলা আওয়ামী লীগের তৎকালীন সভানেত্রী আইভি রহমানকে হারান। পারিবারিক জীবনে তিনি বর্তমান সংসদ সদস্য ও বাংলাদেশ ক্রিকেট বোর্ডের বর্তমান সভাপতি নাজমুল হাসান পাপন নামে এক পুত্র এবং তানিয়া ও ময়না নামে দুই কন্যা সন্তানের জনক।

প্রারম্ভিক জীবন
দেহাবসান
শিক্ষাজীবন
রাজনৈতিক জীবন