Hän kastettiin St. Benet'sissa Lontoossa. Hän oli Robert Dormerin, 1. Carnarvonin kreivi - ja lady Anna Sophia Herbertin, 4. Pembroke'n kreivi Philip Herbertin tytön poika. Dormer opiskeli Oxfordin yliopistossa, josta hän valmistui Master of Arts vuonna 1648. Vuonna 1643 hänen isänsä kuoleman jälkeen Newburyn ensimmäisessä taistelussa
Hän tuli perinnölliseksi päälliköksi Avenoriksi ja kuninkaan haukkojen vartijaksi. Hänen äitinsä oli kuollut muutama kuukausi aiemmin.