Jarvis werd geboren op 27 juni 1845 in Africa, Ohio. Tijdens de Amerikaanse Burgeroorlog diende hij bij het 23e Wisconsin Volunteer Infantry Regiment van het leger van de Unie. Hij nam deel aan de Slag bij Grand Gulf, de Slag bij Port Gibson
, de Slag bij Jackson, Mississippi, de Slag bij Champion Hill, de Slag bij Big Black River Bridge, de Belegering van Vicksburg en de Slag bij Spanish Fort.