30. kesäkuuta 1960 Peter meni naimisiin 24-vuotiaan sihteerinsä Beverly Materin (s. 1935). Heillä oli yksi tytär yhdessä, Elizabeth, tammikuussa 1961. Peter ja Beverly asuivat tyttärensä kanssa Folgerin kartanossa, joka sijaitsee Woodsidessa, Kaliforniassa, vuoteen 1974 saakka, kun he muuttivat Roberta Driveen rakennettuun taloon. Hänen vanhimman tyttärensä murha.
Abigail Anne Los Angelesissa, Kaliforniassa, 9. elokuuta 1969, sanotaan vähentäneen Peterin halua jatkaa asumista Woodsiden kartanossa, jossa hän kasvoi.