In 1865 he was elected to the United States House of Representatives, but as a result of the policies of the Radical Republicans and Reconstruction, former Confederates such as Foster were denied their congressional seats.
1865 wurde er in den US-Kongress gewählt, aber als Folge der Politik der Radical Republicans und der Reconstruction wurden ehemaligen Konföderierten wie Foster ihre Kongresssitze aberkannt.