Setelah kerusuhan Arab 1920 dan kerusuhan Jaffa 1921, kepemimpinan Yahudi di Palestina percaya bahwa Inggris (yang Liga Bangsa-Bangsa telah memberikan mandat atas Palestina pada tahun 1920 untuk tujuan mendirikan rumah nasional Yahudi) tidak memiliki keinginan untuk menghadapi geng-geng Arab lokal atas serangan mereka terhadap Yahudi Palestina. Menyadari bahwa mereka tidak dapat mengandalkan administrasi Inggris untuk perlindungan dari geng-geng ini, para pemimpin Yahudi menciptakan Haganah untuk melindungi peternakan dan kibbutzim mereka. Selain menjaga komunitas Yahudi, peran Haganah adalah untuk memperingatkan penduduk dan menangkis serangan oleh Arab Palestina. Pada periode antara 1920-1929, Haganah tidak memiliki otoritas pusat atau koordinasi yang kuat. "Unit" Haganah sangat terlokalisasi dan dipersenjatai dengan buruk: mereka terutama terdiri dari petani Yahudi yang bergantian menjaga peternakan mereka atau kibbutzim mereka. Setelah pembantaian Arab tahun 1929
, peran Haganah berubah secara dramatis. Ia menjadi organisasi yang jauh lebih besar yang mencakup hampir semua pemuda dan orang dewasa di pemukiman Yahudi, serta ribuan anggota dari kota-kota. Ia juga memperoleh senjata asing dan mulai mengembangkan bengkel untuk membuat granat tangan dan peralatan militer sederhana, berubah dari milisi yang tidak terlatih menjadi tentara bawah tanah yang mampu.