Ben-Zvi az 1905-ös pogromok idején Ukrajnában szervezett zsidó önvédelmi egységekben tevékenykedett, és csatlakozott a Poale cionista politikai párthoz. 1907-ben Palesztinába emigrált, és Jaffában telepedett le, majd később ugyanabban az évben a cionista kongresszus képviselője volt Hágában. Ott találkozott először Izraellel Shochattal. "Bar-Giora", a Hashomer titkos előfutára, 1907-ben lakásában jött létre. 1909-ben szervezte a Gymnasia Rehavia középiskolát a jeruzsálemi Bukharim negyedben Rachel Yanait-val együtt. Kérdés: ki segített neki a szervezetben?
Rachel Yanait