"Jaysh al-Ummah" nariai tvirtina, kad jų grupė buvo įkurta 2005 metais. Tačiau tyrėjai nustatė, kad ji prasidėjo 2007 ar 2008 metais. Nuo savo įkūrimo grupė daugiausia dėmesio skyrė raketų ir kitų sprogmenų šaudymui į Izraelio teritoriją. 2008 m. Sausio mėn. grupė paskelbė, kad planuoja nužudyti Jungtinių Valstijų prezidentą George'ą W. Bushą. 2008 m. rugsėjo 1 d. grupė surengė savo pirmąją "viešojo mokymo sesiją" Gazos pietuose, pasinaudodama galimybe kritikuoti Gazos "Hamas" vyriausybę. Po dviejų dienų "Hamas" areštavo "Jaysh al-Ummah" lyderio Abu Hafs al-Maqdisi, todėl grupė grasino smurtiniu atsakymu, jei jų vadas nebus paleistas. Po to abi pusės tapo priešiškos, o "Jaysh al-Ummah" ignoravo bet kokius ugnies nutraukimo susitarimus, sudarytus tarp "Hamas" ir Izraelio, o "Hamas" ne kartą areštavo "Jaysh al-Ummah" narius. Tačiau šios dvi grupės vengė atviros kovos. "Jaysh al-Ummah" kovojo 2012 m. Gazos konflikte
ir 2014 m. Gazos karo prieš Izraelį.