Escriba unha continuación para este parágrafo - Baldwin naceu no condado de Dutchess, Nova York, e creceu na granxa familiar alí. Asistiu á escola secundaria en Red Creek, Nova York, e máis tarde ensinou na escola tanto en Rhode Island como en Connecticut. O 13 de abril de 1861, uníuse ao exército da Unión xunto cos seus catro irmáns, un dos cales sería morto en acción na batalla de Resaca.
- Non. Foi elixido inicialmente como capitán da Compañía C, 36o Regimiento, Infantería Voluntaria de Illinois. O rexemento foi enviado a Missouri, e en febreiro de 1862 foi nomeado intendente. En agosto dese mesmo ano foi ascendido a tenente coronel do 8o Regimento de Cabalería Voluntaria de Missouri.