Boulton se narodil v roce 1912 v Braxted Parku v Essexu politickému panu Williamu Boultonovi, 1. baronetu, a navštěvoval Eton College předtím, než se připojil k Trinity College v Cambridge. Jeho akademický záznam nebyl význačný, ale byl schopen vstoupit do Inner Temple v roce 1936 jako praktikující advokát. Po vypuknutí druhé světové války se Boulton, který byl již v Essex Yeomanry, připojil k Royal Horse Artillery a sloužil v severní Africe. V roce 1940 se zúčastnil operace Kompas, bojoval v bitvě o Bardia
a pak obléhání Tobruku, kde on nakazil žloutenku a byl evakuován do Alexandrie. Brzy poté se vrátil na frontu, ale byl těžce zraněn při explozi pozemní miny.