השלים את המשפט הבא: לאחר שחרורו בהחלפת אסירים, הוא הועלה לדרגת בריגדיר גנרל ונשלח למערב טנסי, שם הוא קיבל פיקוד על חטיבה מעורבת של חיילי מיסיסיפי וטנסי. לאחר שזכה בהצטיינות בקרב קופיוויל, בולדווין השתתף מאוחר יותר בקרבות של
פורט גיבסון והר צ'מפיון במהלך מסע המלחמה בוויקסבורג. בולדווין נלכד כשויקסבורג נפלה. לאחר שהוחלף, הוא הועבר למחוז מוביל. שם הוא נהרג בתאונה כאשר סדק שבור גרם לו ליפול מהסוס שלו, ליד נהר הדוג באלבמה.