ইসলামে আল-আকসা মসজিদের ঐতিহাসিক গুরুত্ব রয়েছে। প্রথম দিকে মুসলমানরা এই স্থানকে কিবলা (দিক) হিসেবে ব্যবহার করত।হিজরতের পরে কুরআনের আয়াত অবতীর্ণ হওয়ায় এর পরিবর্তে কাবা নতুন কিবলা হয়। মসজিদ আল কিবলাতাইনে নামাজের সময় এই আয়াত নাজিল হয়। এরপর থেকে কাবা কিবলা হিসেবে ব্যবহৃত হয়ে আসছে। প্রথম দিকের মুফাসসিরদের (কুরআনের ব্যাখ্যাকারী) মতে , ৬৩৮ সালে জেরুজালেম বিজয়ের পর উমর ( রাঃ ) প্রবেশের সময় কাব আল আহবারের থেকে পরামর্শ নিয়েছিলেন (মসজিদ তৈরির জন্য সবচেয়ে উত্তম জায়গা কোনটি হতে পারে ?)। তিনি ছিলেন একজন ইহুদী থেকে ইসলামে ধর্মান্তরিত  ব্যক্তি  যিনি মদিনা থেকে তার সাথে এসেছিলেন । তিনি পরামর্শ   দিয়েছিলেন যে এটি  কুব্বাত আস-সাখরার ("ডোম অব দ্য রক") পেছনে হওয়া উচিৎ "... এর ফলে গোটা জেরুজালেম আপনার সামনে থাকবে "। উমর  প্রত্যুত্তর দিলেন , " তোমার মত ইহুদীবাদের সাথে মিলে গেছে  !" । এই কথোপকথনের পরপরই  উমর একটি স্থান পরিষ্কার করতে শুরু করলেন । যেটি আবর্জনা ও রাবিশে পরিপূর্ণ ছিল । তিনি তার জোব্বাটি ব্যবহার করলেন এবং অন্য সাহাবারা তাকে অনুকরণ করল যতক্ষণ না জায়গাটি পরিষ্কার হয়েছিল । উমর এরপর সেই স্থানে নামাজ পড়লেন যেখানে নবী (সাঃ) মেরাজের পূর্বে নামাজ পড়েছিলেন বলে মুসলমানরা বিশ্বাস করে থাকে । বর্ণনা অনুসারে উমর সেই স্থানটিকে মসজিদ হিসেবে পুনঃনির্মাণ করেছিলেন । যেহেতু দাউদ (আঃ) ও সুলাইমান (আঃ) এর প্রার্থনার স্থান হিসেবে পূর্ব থেকেই এটি একটি পবিত্র উপাসনার স্থান ,তাই উমর স্থাপনাটির দক্ষিণস্থ কোনে এটি নির্মাণ করেন। যাতে কুব্বাত আস-সাখরা ("ডোম অব দ্য রক" ) মসজিদটি  ও ক্বাবার মধ্যস্থানে না পড়ে যায় এবং মুসলমানরা নামাজের সময় একমাত্র মক্কার দিকেই মুখ করতে পারে । 
নির্মাণপূর্ব যুগ
উমাইয়া যুগের নির্মাণ
প্রথম কিবলা
ভূমিকম্প ও পুনর্নির্মাণ