Al comienzo de la Guerra Civil Americana, Bunn se alistó en la 72a Infantería de Pensilvania. El 29 de junio de 1862, durante el
En la Batalla de Savage's Station, fue herido y capturado por las fuerzas confederadas. Bunn fue retenido como prisionero de guerra en Richmond, Virginia hasta su liberación durante un intercambio de prisioneros más tarde ese año. A su regreso a Filadelfia, Bunn experimentó una recaída de problemas de su herida y recibió una baja médica.