Na de val van Vicksburg werd Osterhaus' divisie overgeplaatst naar Tennessee. Tijdens de Chattanooga-campagne hielp hij generaal-majoor Joseph Hooker bij de verovering van
Lookout Mountain. Osterhaus nam vervolgens deel aan de Atlanta-campagne, maar een maand lang ziekteverlof zorgde ervoor dat hij de cruciale Slag om Atlanta miste. Hij keerde echter terug naar het commando en speelde een belangrijke rol in de Slag bij Jonesborough. Na de verovering van Atlanta kreeg hij het bevel over het XV Korps, een van de vier korps waarin het leger werd geconsolideerd, in de Sherman's March to the Sea. In maart 1865 werd Osterhaus benoemd tot stafchef in de militaire divisie van West-Mississippi onder het bevel van majoor-generaal Edward Canby, een commandant met weinig gevechtservaring in het opperbevel. Osterhaus diende Canby tijdens de veldslagen van Spanish Fort en Fort Blakely. Toen Edmund Kirby Smith de geconfedereerde troepen in het Trans-Mississippi Theater overgaf, werd Osterhaus gestuurd als Canby's vertegenwoordiger en ondertekende daarom persoonlijk de documenten namens het leger van de Unie.