Baldwin urodził się w hrabstwie Dutchess w stanie Nowy Jork i wychował się na rodzinnej farmie. Uczęszczał do szkoły średniej w Red Creek w stanie Nowy Jork, a później uczył w szkołach w Rhode Island i Connecticut. 13 kwietnia 1861 roku wstąpił do armii Unii wraz z czterema braćmi, z których jeden zginął w bitwie pod Resaca.
- Co? Początkowo został wybrany na kapitana Kompanii C, 36 Pułku Piechoty Ochotniczej Illinois. Pułk został wysłany do Missouri, a w lutym 1862 r. został kwatermistrzem. W sierpniu tego samego roku został awansowany na podpułkownika, dowodzącego 8. pułkiem kawalerii wolontariackiej Missouri.