A polgárháború kitörésekor Osterhaus-t kinevezték a 2. Missouri önkéntes gyalogság őrnagyává, és a háború első évében Missouri-ban és Arkansas-ban dolgozott, ahol kiemelkedő szerepet játszott a Wilson's Creek csatájában és a Pea Ridge-i csatában. Pea Ridge-ben ő irányította a csapatokat, amelyek először léptek kapcsolatba a bal oldalon haladó konföderációs erőkkel. 1862. június 9-én előléptették brigádvezérnek. 1863-ban egy hadosztályt vezetett a Port Gibson-i csatában.
, ahol taktikai képességét mutatta ki a Konföderáció védelmezőinek kedvező pozícióból.