En xullo de 1941, Hickory Hill converteuse na casa do recentemente nomeado xuíz asociado da Corte Suprema dos Estados Unidos Robert H. Jackson e a súa esposa, Irene, que, en 1955, despois da súa morte, vendeu Hickory Hill ao senador dos Estados Unidos John F. Kennedy (D-Massachusetts) e a súa esposa, Jacqueline. Despois da Convención Nacional Demócrata de 1956
A casa foi vendida ao irmán de John, Robert F. Kennedy, e á súa muller, Ethel, que tiña unha familia crecente (con todo, once fillos). Mentres vivía en Hickory Hill, Robert Kennedy converteuse en Fiscal Xeral dos Estados Unidos en 1961; Senador dos Estados Unidos en 1965; e candidato presidencial en 1968.