কুরআনে বর্ণিত রয়েছে যে ইবরাহিম (আ) ও ইসমাইল (আ) দুজন একত্রে কাবা নির্মাণ করেন। ইবরাহিম (আ) কাবার পূর্ব কোণে হাজরে আসওয়াদ পাথর স্থাপন করেছিলেন যা হাদিস অনুযায়ী বেহেশত থেকে আগত। এই পাথর একসময় দুধের মত সাদা ছিল কিন্তু মানুষের গুনাহর কারণে এটি কালো হয়ে পড়ে। ইবরাহিম (আ) এর নির্মিত কাবার মধ্যে এই পাথরটিই একমাত্র আদি বস্তু হিসেবে টিকে রয়েছে।

কাবা নির্মাণ সম্পন্ন হওয়ার পর ইবরাহিম (আ) কে হজ্জের জন্য আহ্বান করতে আদেশ দেয়া হয়। কুরআনের সূরা হজ্জে উল্লেখ আছে 
আর মানুষের কাছে হজ্জ ঘোষণা করে দাও। ওরা তোমার কাছে আসবে পায়ে হেটে ও ধাবমান উটের পিঠে চড়ে, আসবে দুরদূরান্তের পথ অতিক্রম করে। (সূরা হজ্জ, আয়াত ২৭)

কাবা ২১৩০ খ্রিষ্টপূর্বাব্দের দিকে নির্মিত হয় বলে অনুমান করা হয়ে থাকে। ইসলাম অনুযায়ী কাবা পৃথিবীর প্রথম ইবাদতের স্থান।

প্রাথমিকভাবে আল্লাহর ইবাদতের উদ্দেশ্যে ব্যবহৃত হলেও কালক্রমে কাবা পৌত্তলিকতার চর্চা শুরু হয়। মক্কা বিজয়ের আগে এখানে ৩৬০টি দেবদেবীর মূর্তি ছিল।

গুরুত্বপূর্ণ স্থাপনা
প্রথম ইসলামি যুগ
ইসলামপূর্ব যুগ
জমজম কুয়া