De volta a Chechenia, Umarov substituíu a Isa Munayev no posto de comandante da Fronte Sudoeste (composta por aproximadamente 1.000 combatentes en 2004), a rexión militar ao suroeste de Grozny que limitaba con Xeorxia e Ingushetia. Foi considerado un aliado de Shamil Basayev, entón baseado no distrito sudoriental de Vedensky. En 2003, Umarov liderou os seus homes nos fortes combates ao redor da cidade de Shatoy e, segundo as fontes rusas, ordenou o bombardeo da sede do FSB de Ingushetia na capital ingusa de Magas e o ataque a instalacións de infraestrutura eléctrica na cidade de Kislovodsk en Stavropol Krai. Despois da morte de Gelayev en febreiro de 2004, moitos dos seus homes restantes uníronse ao grupo de Umarov. O verán seguinte, xunto con Basayev, Umarov foi un dos líderes dunha incursión a gran escala
por combatentes chechenos e ingus que mataron decenas de funcionarios e membros das forzas de seguridade de Ingushetia e tomaron brevemente o control da cidade máis grande da república, Nazran.