Belknap er frá New York og útskrifaðist frá Princeton háskóla árið 1848. Hann lærði lögfræði hjá lögmanni frá Georgetown og var samþykktur sem lögfræðingur árið 1851. Hann flutti til Iowa, þar sem hann stundaði lögmennsku í samstarfi við Ralph P. Lowe. Belknap gekk inn í stjórnmál sem demókrati og starfaði eitt kjörtímabil í fulltrúadeild Iowa. Þegar bandaríska borgarastyrjöldin braust út árið 1861 gekk Belknap til liðs við Union Army. Belknap var háur og sturlhærður maður sem var náttúrulegur leiðtogi og ráðningarmaður í her Bandalagsins. Hann var þjálfaður í Iowa-hermennsku og var orðinn skipstjóri. Hann var skipaður sem stórliði í 15. sjálfboðaliða-flóttaherflugi í Iowa. Hann tók þátt í fjölmörgum átökum, meðal annars í Shiloh.
og í Korintu, starfaði sem hershöfðingi, hershöfðingi, hershöfðingi og hershöfðingi, og starfaði á æðstu stöðum. Þegar stríðið var lokið var Belknap orðinn hershöfðingi sjálfboðaliða og hlaut brevet sem hershöfðingi.