W bitwie pod Lee's Mills, 16 kwietnia 1862 roku, dowodził oddziałem skirmishers na początku starcia. 13 grudnia 1862 r. w bitwie pod Fredericksburg, podpułkownik Foster dowodził 4. piechotą Vermont na linii walki przed dywizją Howe'a z VI Korpusu. W
Podczas bitwy pod Winchester, pułkownik Foster dowodził brygadą Vermont.