השלים את המשפט הבא: בולדווין נולד במחוז דאצ'ס, ניו יורק, וגדל בחווה המשפחתית שם. הוא למד בתיכון ברד קריק, ניו יורק, ומאוחר יותר לימד בבית ספר ברוד איילנד ובקונטיקט. ב-13 באפריל 1861, הוא הצטרף לצבא האיחוד יחד עם ארבעת אחיו, שאחד מהם נהרג בפעולה
קרב רסקה. בתחילה הוא נבחר לקפטן בחברה ג', גדוד 36, חיל חיל הרגלים המתנדבים של אילינוי. הגדוד נשלח למיזורי, ובפברואר 1862 הוא הונה למפקד מחלקה. באוגוסט אותה שנה הוא הועלה לסגן קולונל, מעל הגדוד השמיני של חיל הפרשים המתנדבים של מיזורי.