Baldwin se narodil v Dutchess County v New Yorku a vyrůstal na rodinné farmě. Navštěvoval střední školu v Red Creeku v New Yorku a později učil ve škole na Rhode Islandu i v Connecticutu. 13. dubna 1861 vstoupil do armády Unie spolu se svými čtyřmi bratry, z nichž jeden zemřel v bitvě u Resaca.
- Ne, ne. Původně byl zvolen kapitánem v rotě C, 36. pluku, dobrovolnické pěchoty Illinois. Pluk byl vyslán do Missouri a v únoru 1862 byl jmenován velitelem. V srpnu téhož roku byl povýšen na podplukovníka 8. pluku dobrovolné kavalerie Missouri.