Een inwoner van New York, Belknap studeerde af aan Princeton University in 1848, studeerde rechten bij een advocaat uit Georgetown, en slaagde voor de balie in 1851. Hij verhuisde naar Iowa, waar hij in partnerschap met Ralph P. Lowe de advocatuur uitoefende. Belknap ging de politiek in als democrat en diende één termijn in het Huis van Afgevaardigden van Iowa. Toen de Amerikaanse Burgeroorlog uitbrak in 1861, sloot Belknap zich aan bij het leger van de Unie. Belknap was een lange, stevige man, een natuurlijke leider en rekruteur van het leger van de Unie. Hij was een veteraan van de Iowa Militia die de rang van kapitein had bereikt, en werd aangesteld als majoor in de 15th Iowa Volunteer Infantry. Hij nam deel aan talrijke gevechten, waaronder Shiloh.
en Corinth, diende als een regiment, brigade, divisie en korps commandant, en diende in hoge staf posities. Tegen het einde van de oorlog was Belknap gepromoveerd tot brigadegeneraal van de vrijwilligers en kreeg hij een brevetpromotie tot generaal-majoor.