Boulton werd geboren in 1912 in Braxted Park in Essex als zoon van de politicus Sir William Boulton, 1e Baronet, en studeerde aan het Eton College voordat hij naar het Trinity College in Cambridge ging. Zijn academische staat van dienst was niet onderscheidend, maar hij was in staat om de Inner Temple in 1936 binnen te gaan als een praktiserend advocaat. Bij het uitbreken van de Tweede Wereldoorlog trad Boulton, die al bij de Essex Yeomanry zat, toe tot de Royal Horse Artillery en diende in Noord-Afrika. In 1940 nam hij deel aan Operatie Compass, vechtend in de Slag bij Bardia
En toen het beleg van Tobruk, waar hij geelzucht kreeg en naar Alexandrië werd geëvacueerd. Hij keerde kort daarna terug naar de frontlinie, maar raakte zwaar gewond bij een landmijnontploffing.