Els fons donats a Hovevei Zion per Haim Cohen van ser transferits al Fons Nacional Jueu, que va comprar 120 dunams de terra a les afores sud de Jerusalem. Mekor Chaim va ser establert el 1926 pel moviment religiós sionista Mizrahi. Va ser planejat com un poble de 20 petits granges, i va ser construït al llarg d'un carrer principal que es va desenvolupar paral·lel a la línia de ferrocarril. Cada família va rebre un terreny de dos dunams per a una casa, jardí i horta. En els primers dies, les famílies tenien estables de vaques i galliners. L'empresari de la construcció, Mar Haim, va ser el cap del primer comitè de veïnat. Va arreglar que la companyia d'autobusos Hamekasher obrís una ruta regular entre Mekor Chaim i el centre de la ciutat. Inicialment, hi havia un robinet d'aigua central al sud del barri. El comitè comprava l'aigua al municipi i posava un vigilant al llaç per a comptar quantes cubes tirava cada família. Més tard, es van construir cisternes d'aigua elevades al jardí de cada casa. Durant els disturbis àrabs de 1929
, els residents es van refugiar a la sinagoga, que va ser construïda com una fortalesa.