Menulis kelanjutan untuk paragraf ini - Pada awal Perang Rusia-Jepang (1904<unk>1905), Zarubaev menjadi komandan Korps Angkatan Darat Siberia Keempat, yang terdiri dari Brigade Cadangan Siberia Kedua dan Ketiga. Dia berhasil menangkis serangan oleh jenderal Jepang Yasukata Oku selama Pertempuran Tashihchiao, tetapi diperintahkan untuk mundur oleh Jenderal Aleksey Kuropatkin daripada menindaklanjuti keberhasilannya. Demikian pula, pada Pertempuran Liaoyang, ia berhasil mempertahankan posisinya melawan serangan Jepang berulang kali, tetapi sekali lagi ditolak bala bantuan oleh Kuropatkin dan diperintahkan untuk mundur. Pada Pertempuran Shaho
, pasukannya sebagian besar disimpan sebagai cadangan, dan digunakan untuk memperkuat garis yang menutupi mundurnya Kuropatkin. Selama Pertempuran Mukden, pasukan Zarubaev memegang posisi mereka selama sepuluh hari dari 12-22 Februari. Dari 23 Februari, Zarubaev memerintahkan kekuatan gabungan dari Korps Angkatan Darat Siberia Keempat dan Korps Angkatan Darat Siberia Pertama. Namun, pasukan gabungan ini dibatalkan pada tanggal 25 Februari, dan setelah Kuropatkin digantikan oleh Jenderal Nikolai Linevich, Zarubaev menjadi komandan sementara Angkatan Darat Manchuria Pertama Rusia.