Při vypuknutí občanské války byl Osterhaus jmenován majorem 2. dobrovolnické pěchoty Missouri a během prvního roku války byl zaměstnán v Missouri a Arkansasu, kde se významně podílel na bitvě u Wilsonova potoka a bitvě u Pea Ridge. V Pea Ridge velel jednotkám, které poprvé navázaly kontakt s konfederačními silami postupujícími po levici Unie. Dne 9. června 1862 byl povýšen na brigádního generála. V roce 1863 velel divizi v bitvě u Port Gibson.
, kde ukázal taktické schopnosti v pronikání konfederačních obránců z příznivé pozice.