Despois da caída de Vicksburg, a división de Osterhaus foi trasladada a Tennessee. Na campaña de Chattanooga axudou ao xeneral Joseph Hooker na captura de Lookout Mountain. Osterhaus participou na campaña de Atlanta, pero unha baixa por enfermidade de un mes fixo que se perdese a crucial batalla de Atlanta.
- Non. Con todo, volveu ao mando e desempeñou un papel significativo na batalla de Jonesborough. Despois da captura de Atlanta, recibiu o mando do XV Corpo, un dos catro corpos nos que se consolidou o exército, na Marcha de Sherman ao Mar. En marzo de 1865, Osterhaus foi nomeado xefe de estado maior da División Militar do Oeste de Mississippi baixo o mando do xeneral de división Edward Canby, un comandante con pouca experiencia de combate no alto mando. Osterhaus serviu a Canby durante as batallas de Spanish Fort e Fort Blakely. Cando Edmund Kirby Smith rendeu ás forzas confederadas no teatro Trans-Mississippi, Osterhaus foi enviado como representante de Canby e, polo tanto, asinou os documentos en nome do exército da Unión.