Alkuperä on hyvin hämärä. Beduiiniarabit, jotka olivat Muhammedin alkuperäisiä seuraajia ja jotka vastasivat ensimmäisistä islamin valloituksista Syyriassa, Palestiinassa ja Persiassa, olivat paimentolaiskansaa, joka asui teltoissa. Valloittamissaan kaupungeissa he alkoivat muuntaa vanhoja rakennuksia, ja kristillisistä kirkoista tuli moskeijoita; Damaskoksessa kristilliseksi kirkoksi muutettu pakanatemppeli liitettiin suureen moskeijaan (706-15). Varhaisin ja yksi kauneimmista islamilaisista rakennuksista on Jerusalemissa sijaitseva Kalliokupoli, joka rakennettiin pyhäköksi (ei moskeijaksi) [tästä kiistellään] ympyränmuotoisen pohjapiirroksen mukaan (685-705, mutta sitä muutettiin paljon myöhemmin, erityisesti vuonna 1561, jolloin ulkokuori verhoiltiin persialaisilla kaakeleilla ja sisätilat vuorattiin marmorilla). Ensimmäiset minareetit olivat Syyriassa muunnettuja kirkontorneja, ja Kairouaniin, Tunisiaan (724-7), rakennetun minareetin mallina on tällainen torni. Umayyadien hallitsijat suosivat nomadisen alkuperänsä mukaisesti aavikkorakennuksia kaupunkipalatsien sijaan. Useat niistä ovat säilyneet raunioina: Qasr al-Hair (728-9), Mshatta Ammanin lähellä Jodaniassa ja Qasr at-Tuba Wadi Ghadorfissa lähellä Ammania. Suunnitelmaltaan nämä rakennusryhmät olivat peräisin roomalaisilta raja-asemilta. Sekä uskonnollisissa että maallisissa rakennuksissa on elementtejä, joista tuli islamilaisen arkkitehtuurin tunnusmerkkejä: Hevosenkenkäkaari, kivestä ja tiilestä tehdyt tunneliholvit, rikas pintakoristelu veistetyllä kivellä, mosaiikilla ja maalauksella. Umayyadien kaudella moskeija sai pysyvän arkkitehtonisen muotonsa liturgisten tarpeiden sanelemana: minareetit, joista uskovia voitiin kutsua rukoilemaan; leveä sisäpiha, jossa oli keskeinen suihkulähde peseytymistä varten, ja sitä ympäröivät pylväskäytävät, jotka suojasivat auringolta; suuri rukouskammio, joka oli merkitty ulkoisesti kupolilla (merkkinä sen tärkeydestä) ja sisäpuolella mihrabilla tai kapealla kapeikolla, joka osoitti Mekan suunnan, johon uskovien oli käännyttävä rukoillessaan. Umayyadien dynastian viimeisestä eloonjääneestä tuli Espanjassa sijaitsevan Cordoban emiirikunnan perustaja, jossa islamilaisen arkkitehtuurin varhainen tyyli täydellistettiin suuressa moskeijassa (786-990).
Abassidien aikana, jotka syrjäyttivät Umayyadit vuonna 750, Persian vaikutus alkoi hallita islamilaista maailmaa. Tärkeimmät saavutukset arkkitehtuurin alalla olivat uuden, ympyränmuotoisen pääkaupungin Bagdadin perustaminen (762-7, nyt suurelta osin tuhoutunut) ja hieman myöhemmin pienemmän Raqqan kaupungin perustaminen Syyriaan, josta on säilynyt vain vähän muuta kuin sen runsaasti koristellut portit. Tänä aikana islamilainen arkkitehtuuri alkoi poiketa radikaalisti hellenistisistä ja bysanttilaisista tavoista. Persiasta peräisin oleva ja beduiinien epämuodollisuutta koskevien käsitysten vastainen, hienostunut hovietiketti otettiin käyttöön, ja uusille kalifeille suunniteltiin muodollisempia ja mahtipontisempia palatseja, kuten Ukhaidirin ja Samarran palatsit Irakissa. Nämä suuret rakennukset rakennettiin hyvin nopeasti; kivestä luovuttiin tiilen sijaan, ja koristeellisia stukkeja käytettiin paljon. Tärkeimpiä C9-luvun saavutuksia olivat Kairouanin suuri moskeija Tunisiassa (836), Bu Fatatan moskeija Susassa Tunisiassa (850-1), Samarran suuri moskeija Irakissa, jossa on omituinen ziggurat-tyyppinen minareetti (noin 850), ja erittäin hyvin säilynyt Inb Tulunin moskeija Kairossa (876-7). Rakennusmateriaalit olivat yleensä karkeat, mutta niitä koristeltiin taidokkailla geometrisilla tai kukka-aiheisilla pintakoristeilla, jotka oli maalattu stukilla, mosaiikilla, lasitetuilla kaakeleilla tai matalalla reliefikaiverruksella. Paikalliset perinteet vaikuttivat eri alueiden koristelutyyleihin (ks. Intian Pakistan, Persian ja Turkin arkkitehtuuri).
''Islamilaisen maailman alkuperäisessä ytimessä merkittävimmät myöhemmät moskeijat ovat Tabrizissa, Persiassa (1204), Kairossa (Sultan Barquqin moskeija 1384) ja Isfahanissa Persiassa (1585). Myös useimpia aikaisempia uskonnollisia rakennuksia, kuten Masjid-el-aksaa ja Jerusalemin kalliokupolia, muutettiin ja koristeltiin rikkaammin näinä vuosisatoina. Etelä-Espanjassa kehitettiin paikallinen, hyvin vastakkainasetteleva tyyli, jonka tärkeimmät monumentit ovat Giraldan torni Sevillassa (1159) ja Alhambra (1309-54).