Bij de slag bij Lee's Mills, 16 april 1862, leidde hij een compagnie van schermutselers vroeg in de strijd. Op 13 december 1862, tijdens de Slag bij Fredericksburg, leidde luitenant-kolonel Foster de 4e Vermont Infanterie op de schermutselingslijn voor Howe's divisie van het VI Korps. Bij de slag bij Winchester.
Kolonel Foster had het bevel over de Vermont Brigade.