Els seus pares van ser candidats del Partit Liberal a Hertford a les eleccions generals de 1964. Els seus pares tenien antecedents no conformistes. El seu avi patern Nathaniel Bishop Harman, cirurgià oftalmàtic, era un destacat unitari i la família Spicer eren coneguts congregacionalistes. La seva tia paterna era Elizabeth Pakenham, comtessa de Longford (née Harman), i els seus cosins inclouen els escriptors Lady Antonia Fraser (née Pakenham, un cosí primer), Bill Rachelington, i Thomas Pakenham. Harman és un nebot-neta de l'estat liberal Joseph Chamberlain i també està relacionada amb Richard Chamberlain.
Elizabeth Pakenham