Escriu una continuació per a aquest paràgraf - A l'inici de la Guerra russojaponesa (1904-1905), Zarubaev va ser nomenat comandant del Quart Cos d'Exèrcit Siberià, que estava compost per les Segones i Terceres Brigades de Reserva Siberiana. Va repel·lir amb èxit els atacs del general japonès Yasukata Oku durant la Batalla de Tashihchiao, però el general Aleksey Kuropatkin li va ordenar retirar-se en lloc de seguir el seu èxit. De la mateixa manera, a la Batalla de Liaoyang, va mantenir amb èxit la seva posició contra els repetits atacs japonesos, però Kuropatkin li va rebutjar de nou els reforços i li va ordenar retirar-se. A la Batalla de Shaho
, les seves forces es van mantenir en gran part en reserva, i es van utilitzar per reforçar la línia que cobria la retirada de Kuropatkin. Durant la Batalla de Mukden, les forces de Zarubaev van mantenir les seves posicions durant deu dies del 12 al 22 de febrer. Des del 23 de febrer, Zarubaev va comandar una força combinada tant del Quart Cos d'Exèrcit Siberià com del Primer Cos d'Exèrcit Siberià. No obstant això, aquesta força combinada va ser cancel·lada el 25 de febrer, i després que Kuropatkin va ser reemplaçat pel general Nikolai Linevich, Zarubaev va ser nomenat comandant temporal del Primer Exèrcit rus de Manxúria.