Rusų-japonų karas prasidėjo 1904 m. vasario 8 d., kai Sacharovas vadovavo 1-ajam Sibiro armijos korpusui, tačiau jis nematė mūšio, kol jis atsisakė komandos 1904 m. Balandžio mėn. 1904 m. balandžio 5 d. jis tapo 1-osios Mandžiūrijos armijos lauko štabo vadovu, dalyvaudamas Šaho mūšyje.
1904 m. spalio mėn. 1904 m. spalio 18 d. jis tapo visų sausumos ir jūrų pajėgų, veikiančių prieš Japoniją, generolo Aleksejaus Kuropatkino vyriausiojo štabo vadovu. Jis atliko šias pareigas iki 1905 m. kovo 17 d. ir 1904 m. lapkričio 26 d. buvo apdovanotas aukso ginklu už drąsą su deimantais. 1905 m. kovo 17 d. - 1906 m. sausio 3 d. - Aleksandro Komiteto sužeistųjų klausimais narys. 1905 m. rugsėjo 24 d. - tuoj po karo - tapo laikinuoju 17-ojo armijos korpuso vadu ir toliau dirbo komitete.