মুহাম্মদ এর মক্কা বিজয়ের পর কাবার মূর্তিগুলো ভেঙে ফেলা হয়। ফলে কাবায় পৌত্তলিকতার চর্চা বন্ধ হয়ে যায়। এরপর মসজিদুল হারামের নির্মাণ বিভিন্ন সময়ে সম্পাদিত হয়।

৬৯২ খ্রিষ্টাব্দে মসজিদে প্রথম বড় আকারের সংস্কার সাধিত হয়। এর পূর্বে মসজিদ ছিল কাবাকে কেন্দ্র করে একটি খোলা স্থান। সংস্কারে ছাদসহ দেয়াল দিয়ে এলাকাটি ঘিরে দেয়া হয়। ৮ম শতাব্দীর শেষ নাগাদ মসজিদের পুরনো কাঠের স্তম্ভগুলোর বদলে মার্বেলের স্তম্ভ স্থাপন করা হয় এবং নামাজের স্থান বৃদ্ধিসহ মিনার যুক্ত করা হয়। ইসলামের প্রচার বৃদ্ধি পাওয়ার সাথে সাথে হাজিদের সংখ্যা বৃদ্ধি পাওয়ায় মসজিদে আরো সংস্কার করা হয়।

হাজরে আসওয়াদ
হজ্জ ও উমরা
গুরুত্বপূর্ণ স্থাপনা
প্রথম ইসলামি যুগ