Escriba una continuación para este párrafo - Baldwin nació en el condado de Dutchess, Nueva York, y se crió en la granja familiar allí. Asistió a la escuela secundaria en Red Creek, Nueva York, y más tarde enseñó en las escuelas de Rhode Island y Connecticut. El 13 de abril de 1861, se unió al Ejército de la Unión junto con sus cuatro hermanos, uno de los cuales moriría en acción en la Batalla de Resaca.
- ¿ Qué? Inicialmente fue elegido como capitán de la Compañía C, 36o Regimiento, Infantería Voluntaria de Illinois. El regimiento fue enviado a Missouri, y en febrero de 1862 fue nombrado intendente. En agosto de ese mismo año fue ascendido a teniente coronel, sobre el 8o Regimiento de Caballería Voluntaria de Missouri.