Í upphafi borgarastyrjaldar var Osterhaus skipaður stórliði í 2. sjálfboðaliðaþjónustu Missouri og var á fyrsta ári stríðsins ráðinn í Missouri og Arkansas, þar sem hann tók áberandi þátt í Slaginu við Wilson's Creek og Slaginu við Pea Ridge. Í Pea Ridge skipaði hann hernum sem fyrstur hafði samband við bandalagsherjar sem rýndu á vinstri hönd sambandsins. Hann var kynntur til hershöfðings 9. júní 1862. Árið 1863 skipađi hann deild í bardaga við Port Gibson.
, þar sem hann sýndi taktískan hæfileika í að prýða varnarmenn bandalagsins úr hagstæðri stöðu.