Hann var skírður í St. Benet's í Lundúnum. Hann var sonur Robert Dormer, 1. jarls Carnarvon og Lady Anna Sophia Herbert, dóttur Philip Herbert, 4. jarls Pembroke. Dormer var menntaður við Háskólann í Oxford, þar sem hann útskrifaðist sem meistari í listum árið 1648. Árið 1643, eftir dauða föður síns í fyrsta bardaga við Newbury
Hann hlaut titla föður síns og varð arfgengur höfđingur Avenor og vörđandi falka konungs. Móðir hans hafði dáið nokkrum mánuðum áður.