Ben-Zvi buvo aktyvus žydų savigynos vienetų, organizuotų Ukrainoje, siekiant apginti žydus per pogromus 1905 ir prisijungė Poale cionistinė politinė partija. Jis imigravo į Palestiną 1907 m., įsikūręs Jaffa, ir vėliau tais pačiais metais buvo atstovas cionistiniame kongrese Hagoje. Čia jis pirmą kartą sutiko Izraelį Šochatą. "Bar-Giora", slaptas pirmtakas Hashomer, buvo sukurtas jo bute 1907 m. 1909 m. Jis organizavo Gimnaziją Rehavia aukštąją mokyklą Jeruzalės Bukharim rajone kartu su Rachel Yanait.
Rachel Yanait