Ben-Zvi var virkur í Gyðinga sjálfsvörn einingunum sem skipulagðar voru í Úkraínu til að verja Gyðinga í pogroms 1905, og gekk í Poale Zionist stjórnmálaflokknum. Hann flutti til Palestínu árið 1907, settist í Jaffa, og síðar sama ár var fulltrúi í Zionist Congress í Haag. Það var þar sem hann hitti fyrst Israel Shochat. "Bar-Giora", dulinn forveri Hashomer, var stofnaður í íbúð hans árið 1907. Árið 1909 skipulagði hann Gymnasia Rehavia menntaskóla í Bukharim hverfi Jerúsalem ásamt Rachel Yanait. Spurning: hver hjálpaði honum með samtökin?
Rachel Yanait