Durante a Guerra Civil Americana, Bump serviu no 25o Regimento de Infantería de Wisconsin do Exército da Unión. Entre os combates nos que participou está a batalla de Resaca
da Campaña de Atlanta. Alcanzou o rango de sarxento.