Aan het begin van de Amerikaanse Burgeroorlog, ging Bunn in dienst bij de 72e Pennsylvania Infanterie. Op 29 juni 1862, tijdens de
In de Slag bij Savage's Station werd hij gewond en gevangen genomen door de Zuidelijke troepen. Bunn werd als krijgsgevangene vastgehouden in Richmond, Virginia tot zijn vrijlating tijdens een gevangenenruil later dat jaar. Bij zijn terugkeer naar Philadelphia kreeg Bunn een terugval van problemen met zijn wond en kreeg hij medisch ontslag.