V roce 1864 Osborn velel 1. brigádě, 1. divizi XXIV sboru armády Jamese. Osborn byl těžce zraněn v bitvě u Drewry's Bluff
14. května 1864, když mu kulka z muškety rozbila pravý loket a uvízla mu v ruce. Zůstal v nemocnici až do září, než ho propustili. V prosinci se dostatečně zotavil, aby se mohl hlásit do služby. Nicméně po zbytek svého života trpěl ankylosí zraněného lokte.