Miturut riwayat-riwayat kang umum misuwur sajeroning tradhisi Islam, Umar mlebu Yerusalem sawisé pénaklukan ing taun 638. Dicaritakaké yèn panjenengané ngendika karo Ka'ab Al-Ahbar, wong Yahudi kang wis mlebu Islam lan mèlu rawuh bebarengan saka Madinah, ngenani papan paling apik kanggo yasa masjid. Al-Ahbar mrayogakaké supaya masjid diyasa ing samburiné watu Ash-Shakhrah "... mula kabèh Al-Quds (dumunung) ing ngarep panjenengan ". Umar ngendika, "Ka'ab, Panjenengan wis niru ajaran Yahudi". Sanajan mangkono, sawisé pacelathon iku Umar nganggo jubahé miwiti ngresiki papan kang wis dikebaki runtah lan puing-puing mau. Semono uga kaum Muslim pengikuté mèlu ngresiki panggonan mau. Umar banjur ngayahi salat ing papan kang diyakini minangka papan salat Muhammad wektu Isra Mi'raj, lan Umar ing panggonan mau maca ayat-ayat Kuran saka Surat Sad. Mula saka iku, miturut riwayat mau Umar dianggep wis nyucèkaké manèh situs mau minangka masjid.