Jis buvo krikštytas Londono šv. Beneto bažnyčioje. Jis buvo Roberto Dormerio, pirmojo Karnarvono grafo, ir ledi Anos Sofijos Herberto, Philipo Herberto, ketvirtojo Pembroko grafo, dukters, sūnus. Dormeris studijavo Oksfordo universitete, kur 1648 m. baigė menų magistro laipsnį. 1643 m., kai jo tėvas žuvo Pirmojoje Niuberio mūšyje
Jis perėmė savo tėvo titulus ir tapo paveldėtuoju Avenoro vadu ir Karaliaus Šaulių saugotoju. Jo motina mirė prieš kelis mėnesius.