Na początku wojny secesyjnej Osterhaus został mianowany majorem II Missouri Volunteer Infantry i w pierwszym roku wojny był zatrudniony w Missouri i Arkansas, gdzie brał udział w bitwie pod Wilson's Creek i Bitwie pod Pea Ridge. W Pea Ridge dowodził oddziałami, które po raz pierwszy nawiązały kontakt z siłami Konfederacji. 9 czerwca 1862 został awansowany na generała brygady. W 1863 dowodził dywizją w bitwie pod Port Gibson.
, gdzie wykazał umiejętności taktyczne w wtyczce obrońców Konfederacji z korzystnej pozycji.