Aastal 1954 abiellus John Vivian Libertoga. Neil sündis neli tütart: Rosanne (1955), Kathleen (1956), Cindy (1959) ja Tara (1961). Johni pidev kodust eemalolek ja sõltuvus mõnuainetest mõjus aga nende suhtele laastavalt ning nad lahutasid 1966. aastal.