Baldwin fæddist í Dutchess County í New York og ólst upp á fjölskyldubænum þar. Hann gekk í menntaskóla í Red Creek í New York og kenndi síðar í Rhode Island og Connecticut. Þann 13. apríl 1861 gekk hann í her sambandsins ásamt fjórum bræðrum sínum. Einn þeirra fórst í hernaðarslaginu við Resaca.
Ég veit ūađ ekki. Hann var fyrst kjörinn sem skipstjóri fyrir C-herflokk, 36. herflokk, sjálfboðaliða í Illinois. Regimentin var send til Missouri og í febrúar 1862 var hann gerður yfirmaður. Í ágúst sama árs var hann kynntur í liðsforingja í 8. liði Missouri sjálfboðaliða kavaleríunnar.