Dia dibaptis di St Benet di London, dia adalah putra Robert Dormer, Earl pertama dari Carnarvon dan Lady Anna Sophia Herbert, putri Philip Herbert, Earl ke-4 dari Pembroke. Dormer berpendidikan di Universitas Oxford, di mana ia lulus Master of Arts pada tahun 1648. Pada tahun 1643, atas kematian ayahnya di Pertempuran Newbury Pertama
Dia berhasil meraih gelar ayahnya dan menjadi Hereditary Chief Avenor dan Keeper of the King's Hawks. Ibunya meninggal beberapa bulan sebelumnya.