Masjid Larabanga pinercaya dibangun déning wong-wong bangsa Moor ing abad ka-13 M. Wondéné miturut sawijining carita, ing taun 1421, ana sawijining sudagar Islam aran Ayuba kang manggon ing papan saceraké "Mystic Stone". Ayuba kang nama ganepé Ibrahim Ayuba al-Ansari iku teka saka Medinah awit préntah syèkh. Warga sakiwa-tengené nyritakaké manawa Ayuba iku asalé saka bani al-Najjar, ya iku salah sawijining suku ing Mekah. Bani al-Najjar iku uga ingaran minangka asal sukuné ibuné nabi Muhammad "salallahu alaihi wa sallam".