Eftir árásir Araba árið 1920 og Jaffa árásir árið 1921 trúðu forystumenn Gyðinga í Palestínu að Bretar (sem Alþýðubandalagið hafði gefið umboð yfir Palestínu árið 1920 í þeim tilgangi að stofna gyðingaþjóðlegt heimili) hefðu enga löngun til að takast á við staðbundna arabíska gengi vegna árásar þeirra á palestínska Gyðinga. Þegar forystu Gyðinga varð ljóst að þeir gætu ekki treyst á að breska stjórnin myndi vernda þá gegn þessum hópi hópa, stofnuðu þeir Haganah til að vernda ræktun sína og kibbútsím. Auk þess að vernda gyðingafélögin var hlutverk Hagana að vara íbúana við árásum palestínskra Araba og afstýra þeim. Á tímabilinu 1920-1929 skorti Haganah sterkt miðstýri eða samhæfingu. "Einingar" Haganah voru mjög staðbundnar og illa vopnaðar: þær voru aðallega samsettar af gyðingum bændum sem skiptust á að gæta útgerða sinna eða kibbutzim. Eftir fjöldamorðin á Arabarum árið 1929
, hlutverk Haganah breyttist verulega. Hún varð miklu stærri samtök og tók til sín nánast alla unglinga og fullorðna í gyðingabyggðunum auk þúsunda manna úr borgunum. Hún eignaðist einnig erlenda vopn og byrjaði að þróa verkstæði til að búa til handsprengjur og einfaldan herbúnað, sem breytti frá óþjálfaðri milísíu í hæfan neðanjarðarher.