Az amerikai polgárháború kezdetén Bunn beiratkozott a 72. Pennsylvaniai gyalogságba. 1862. június 29-én, a Savage's Station csatája alatt
Megsebesült és foglyul ejtették a konföderációs erők. Bunnot hadifoglyként tartották fogva Richmondban, Virginia államban, egészen addig, amíg az év későbbi részében egy fogolycsere során szabadon nem engedték. Miután visszatért Philadelphiába, Bunnnak megismétlődtek a sérülései, és orvosi felmentést kapott.