בולטון נולד ב-1912 בברקסטד פארק באסקס. הוא היה בנו של הפוליטיקאי סר ויליאם בולטון, הברונט הראשון. הוא למד בקולג' איטון לפני שהצטרף לקולג' טריניטי בקיימברידג'. רישומו האקדמי לא היה מצטיין, אך הוא היה מסוגל להיכנס למקדש הפנימי בשנת 1936 כעורך דין מתמחה. עם פרוץ מלחמת העולם השנייה הצטרף בולטון, שכבר היה בחיל האסקס, לארטילריה המלכותית ושירת בצפון אפריקה. ב-1940 הוא השתתף במבצע "מצפן", נלחם בקרב בארדיה.
ואז המצור על טוברוק, שם הוא נדבק בצהבת ונשלח לאלכסנדריה. הוא חזר לשירות החזית זמן קצר לאחר מכן, אך נפצע קשה בפיצוץ מוקש קרקעי.