Baldwin sa narodil v okrese Dutchess v New Yorku a vyrastal na rodinnej farme. Navštevoval strednú školu v Red Creeku v New Yorku a neskôr učil na škole v Rhode Islande aj v Connecticute. 13. apríla 1861 vstúpil do armády Únie spolu so svojimi štyrmi bratmi, z ktorých jeden zomrel v bitke pri Resaca
- Áno. Pôvodne bol zvolený za kapitána v spoločnosti C, 36. pluku, dobrovoľníckej pechoty v Illinois. Polok bol poslaný do Missouri a vo februári 1862 bol menovaný za štvrťmistra. V auguste toho istého roka bol povýšený na podplukovníka 8. pluku Missouriho dobrovoľníckej kavalérie.