1941 m. liepos mėn. Hickory Hill tapo naujai paskirtų Jungtinių Valstijų Aukščiausiojo Teismo teisėjų Robert H. Jackson ir jo žmonos Irene, kurie 1955 m., po jo mirties, pardavė Hickory Hill Jungtinių Valstijų senatoriui Johnui F. Kennedy (D-Massachusetts) ir jo žmonai Jacqueline. Po 1956 m. demokratų nacionalinio kongreso
, namas buvo parduotas Jono broliui Robertui F. Kennedy ir jo žmonai Ethel, kurios šeima auga (galų gale vienuolika vaikų). Gyvenęs Hickory Hill, Robertas Kennedis 1961 m. tapo Jungtinių Valstijų generaliniu prokuroru; 1965 m. - Jungtinių Valstijų senatoriumi; 1968 m. - prezidento kandidatu.