Od prvních staletí n.l. žila většina Židů mimo oblast obecně známou jako Palestina, po zničení Druhého chrámu a masakru Židů v Jeruzalémě. Ze 600.000 (Tacitus) nebo 1.000.000 (Josef) Židů v Jeruzalémě všichni buď zemřeli hlady, byli zabiti nebo byli prodáni do otroctví. Přítomnost menšiny Židů byla potvrzena téměř po celé období. Například podle tradice židovská komunita Peki'in udržuje židovskou přítomnost od období Druhého chrámu. Podle Tanakhu Bůh přidělil Kanaán Židům jako Zaslíbenou zemi, což je přesvědčení zachované také v Septuagině a jak v křesťanské, tak v islámské tradici. Diaspora začala v roce 586 př. n. l. během babylonské okupace Izraele. Babylóňané zničili První chrám, který byl v té době středobodem židovské kultury. Po velké vzpouře v prvním století
a povstání Bar Kokhba ve 2. století, římská říše zakázala Židům vstup do Jeruzaléma a nazvala toto území "Syria Palaestina".