Urodzony w Nowym Jorku, Belknap ukończył Princeton University w 1848 roku, studiował prawo u adwokata z Georgetown, i przeszedł do sądu w 1851 roku. Przeniósł się do Iowa, gdzie praktykował prawo we współpracy z Ralphem P. Lowe. Belknap wstąpił do polityki jako demokrat i służył jedną kadencję w Izbie Reprezentantów w stanie Iowa. Kiedy wybuchła amerykańska wojna domowa w 1861 roku, Belknap dołączył do armii Unii. Wysoki, zbudowany mężczyzna, Belknap był naturalnym przywódcą armii Unii i rekruterem. Jako weteran milicji Iowa, który uzyskał stopień kapitana, został mianowany majorem w 15th Iowa Volunteer Infantry. Brał udział w licznych zaangażowaniach, w tym Shiloh
i Koryntu, pełnił funkcję dowódcy pułku, brygady, dywizji i korpusu, a także pełnił funkcje na wysokich stanowiskach. Pod koniec wojny Belknap został awansowany na generała brygady ochotników i otrzymał awans na generała-majora.