Goff kävi Basingstoken naistenkoulua kahdeksanvuotiaaksi. Sen jälkeen hän opiskeli St Aubyns Schoolissa Rottingdeanissa ja aloitti Eton Collegessa syyskuussa 1939, toisen maailmansodan alussa. Etonissa hän keskittyi klassisiin kieliin ja historiaan, mieluummin tieteisiin. Siellä oli Henry Ley, orgenisti, joka oli soittanut kuningas Georgen kruunajaisissa.
, rohkaisi hänen rakkauttaan pianoon ja opetti häntä soittamaan. Hän jätti Etonin joulukuussa 1944, kun hän oli saanut lykättyä tarjousta New Collegessa Oxfordissa, kun hän oli suorittanut sotilaallisen palveluksensa.