Na zijn vrijlating in een gevangenenuitwisseling, werd hij gepromoveerd tot brigadegeneraal en naar West Tennessee gestuurd, waar hij het commando overnam van een gemengde brigade van Mississippi en Tennessee soldaten. Baldwin won onderscheid in de Slag bij Coffeeville en nam later deel aan de slag bij Port Gibson.
en Champion's Hill tijdens de Vicksburg Campagne. Baldwin werd gevangen genomen toen Vicksburg viel. Na zijn uitwisseling werd hij toegewezen aan het district Mobile. Daar werd hij gedood bij een ongeluk waarbij een gebroken staaf hem van zijn paard liet vallen, in de buurt van de Dog River in Alabama.