Tijdens de Amerikaanse Burgeroorlog diende Bump in het 25e Wisconsin Infanterie Regiment van het leger van de Unie. Hij nam deel aan de Slag bij Resaca.
van de Atlanta Campagne. Hij bereikte de rang van eerste sergeant.