Baldvinas gimė Dutchess apygardoje, Niujorke, ir užaugo šeimos ūkyje. Jis lankė vidurinę mokyklą Red Krike, Niujorke, o vėliau mokė mokykloje Rod Ailande ir Konektikute. 1861 m. Balandžio 13 d. Jis prisijungė prie Sąjungos armijos kartu su keturiais broliais, iš kurių vienas žuvo mūšyje prie Resaca.
- Taip. Iš pradžių jis buvo išrinktas kapitonu C kompanijos, 36-ojo regimento, Ilinojaus savanorių pėstininkų. Regimentas buvo išsiųstas į Misūrio valstiją, o 1862 m. vasarį jis buvo paskirtas kvarterininku. Tų pačių metų rugpjūtį jis buvo paaukštintas į pulkininko leitenantą, vadovaudamas 8-ajam Misūrio savanorių kavalerijos pulkui.