Írj folytatást erre a bekezdésre - Az orosz-japán háború (1904-1905) kezdetén Zarubajev a második és harmadik szibériai tartalékosztagokból álló negyedik szibériai hadtest parancsnoka lett. Sikeresen visszaverte a japán Yasukata Oku tábornok támadásait a Tashihchiao-i csata során, de Aleksey Kuropatkin tábornok visszavonulásra utasította, ahelyett, hogy követné a sikereit. Hasonlóképpen, a Liaoyang-i csata során sikeresen megtartotta pozícióját a japánok ismételt támadásai ellen, de Kuropatkin ismét megtagadta az erősítést, és visszavonulásra utasította. A Shaho-i csata
, erőit nagyrészt tartalékban tartották, és arra használták, hogy megerősítsék a Kuropatkin visszavonulását fedező vonalat. A mukdeni csata során Zarubaev erői tíz napig tartották a pozícióikat február 12-22 között. Február 23-tól Zarubajev a negyedik szibériai hadsereg és az első szibériai hadsereg egyesített erőinek parancsnoka volt. Azonban ezt a kombinált erőt február 25-én törölték, és miután Kuropatkin helyébe Nikolai Linevics tábornok került, Zarubajevot az orosz Első Mancsúria Hadsereg ideiglenes parancsnokává tették.