Baldwin fæddist í Dutchess County í New York og ólst upp á fjölskyldubæ þar. Hann gekk í menntaskóla í Red Creek í New York og kenndi síðar í Rhode Island og Connecticut. Þann 13. apríl 1861 gekk hann í sambandsherinn ásamt fjórum bræðrum sínum. Einn þeirra var drepinn í átökunum á
Barátta við Resaca. Hann var fyrst kjörinn sem skipstjóri fyrir C-herflokk, 36. herflokk, sjálfboðaliða í Illinois. Regimentin var send til Missouri og í febrúar 1862 var hann gerður yfirmaður. Í ágúst sama árs var hann kynntur í liðsforingja í 8. liði Missouri sjálfboðaliða kavaleríunnar.