Baldwin werd geboren in Dutchess County, New York, en groeide op op de familieboerderij daar. Hij ging naar de middelbare school in Red Creek, New York, en leerde later op school in zowel Rhode Island als Connecticut. Op 13 april 1861 sloot hij zich aan bij het leger van de Unie, samen met zijn vier broers, van wie een in de Slag bij Resaca zou sterven.
Ik weet het. Hij werd in eerste instantie gekozen als kapitein voor Compagnie C, 36th Regiment, Illinois Volunteer Infantry. Het regiment werd naar Missouri gestuurd en in februari 1862 werd hij kwartiermeester. In augustus van datzelfde jaar werd hij gepromoveerd tot luitenant-kolonel, over het 8th Regiment Missouri Volunteer Cavalry.