হাজ্জাজ ঢাকায় জন্মগ্রহণ ও বেড়ে উঠেন। তার পিতা হলেন ব্যবসায়ী মূসা বিন শমসের, যিনি শ্রম রফতানি শিল্পের প্রতিষ্ঠাতা হিসাবে পরিচিত, যা তৈরি পোশাক রফতানির পাশাপাশি বাংলাদেশের অর্থনৈতিক সাফল্যের ঘাঁটি ছিল। হাজ্জাজের দাদা শমসের আলী ব্রিটিশ শাসনামলে ফরিদপুরে একজন সরকারী কর্মকর্তা ছিলেন এবং তার পিতৃ পুরুষরা ইসলাম প্রচারক ছিলেন। তার মা কানিজ ফাতেমা চৌধুরী। তিনি পাবনার বিখ্যাত ধুলাই জমিদার পরিবারের একজন বংশোদ্ভূত, ব্রিটিশ রাজকালে অন্যতম প্রধান জমিদারী সম্পদ, এবং তার বাবা আবু নাসের চৌধুরী এস্টেটের সর্বশেষ অধিকারী আইনজীবি ছিলেন। হাজ্জাজের দুই ভাইবোন রয়েছে। তার বোন ন্যানসি জাহারা একজন উদ্যোক্তা এবং শেখ ফাহিম আওয়ামী লীগের সভাপতিমণ্ডলীর সদস্য শেখ সেলিমের পুত্রের সাথে তার বিয়ে হয়েছে। তার ভাই ব্যারিস্টার যুবি মুসা বাংলাদেশের সুপ্রিম কোর্টের অ্যাডভোকেট। বর্তমানে তিনি বাংলাদেশের অন্যতম শীর্ষস্থানীয় আইন সংস্থার আক্তার ইমাম ও অ্যাসোসিয়েটসের ব্যবস্থাপনা অংশীদার ব্যারিস্টার রশনা ইমামের সাথে বিবাহবন্ধনে আবদ্ধ হয়েছেন। তাদের দুটি মেয়ে রয়েছে, ইনায়ে হাজ্জাজ ও নায়াসা হাজ্জাজ।

পড়ালেখা ও কর্মজীবন
রাজনৈতিক দৃষ্টিভঙ্গি
ঢাকা উত্তর মেয়র নির্বাচন
পারিবারিক ইতিহাস