Él y su esposa Mary (un tejedor) tuvieron dos hijos, Anne (nacido en 1947) y Julian (nacido en 1952).
Potter se casó en 1945. Él y su esposa Anne (un tejedor) tuvieron dos hijos, Julian (nacido en 1947) y Mary (nacido en 1952).