Nuo pirmųjų mūsų eros šimtmečių dauguma žydų gyveno už teritorijos ribų, paprastai žinomos kaip Palestina, po Antrojo šventyklos sunaikinimo ir žydų žudymo Jeruzalėje. Iš 600.000 (Tacitas) arba 1.000.000 (Žozefas) Jeruzalės žydų visi jie arba mirė iš bado, arba buvo nužudyti, arba buvo parduoti į vergiją. Žydų mažuma buvo beveik visą šį laikotarpį. Pavyzdžiui, pagal tradiciją, Peki'in žydų bendruomenė išlaikė žydų buvimą nuo Antrojo šventyklos laikotarpio. Pasak Tanakh, Dievas buvo paskyręs Kanaano žydams kaip Pažadėtąją žemę, tikėjimas išsaugotas ir Septuagintoje, ir krikščionių, ir islamo tradicijoje. Diaspora prasidėjo 586 m. pr. m. e. per babiloniečių okupaciją Izraelyje. Babiloniečiai sunaikino Pirmąją šventyklą, kuri tuo metu buvo žydų kultūros centras. Po pirmojo amžiaus Didžiojo maišto
2 amžiuje Bar Kokhba sukilimas, Romos imperija uždraudė žydams atvykti į Jeruzalę ir pavadino teritoriją "Syria Palaestina".