Po páde Vicksburgu bola Osterhausova divízia presunutá do Tennessee. V kampani v Chattanooge pomáhal generálmajorovi Josephovi Hookerovi pri dobytí Lookout Mountain. Osterhaus sa potom zúčastnil na kampani v Atlante, ale mesačná nemocenská dovolenka mu spôsobila, že zmeškal rozhodujúcu
Bitka o Atlantu. Vrátil sa však do velenia a zohral významnú úlohu v bitke pri Jonesborough. Po dobytí Atlanty získal velenie nad XV. zborom, jedným zo štyroch zborov, do ktorých bola armáda konsolidovaná v Shermanovom pochode k moru. V marci 1865 bol Osterhaus vymenovaný za veliteľa štábu vo vojenskej divízii západného Mississippi pod velením generála majora Edwarda Canbyho, veliteľa s malými bojovými skúsenosťami v najvyššom velení. Osterhaus slúžil Canbyho počas bitky pri španielskom a Blakelyskom pevnostiach. Keď Edmund Kirby Smith kapituloval vojakom Konfederácie v Trans-Mississippi Theater, Osterhaus bol poslaný ako Canbyho zástupca a preto osobne podpísal dokumenty v mene armády Únie.