În iulie 1941, Hickory Hill a devenit casa noului judecător adjunct al Curții Supreme a Statelor Unite, Robert H. Jackson, și a soției sale, Irene, care, în 1955, după moartea sa, a vândut Hickory Hill senatorului american John F. Kennedy (D-Massachusetts) și soției sale, Jacqueline. După Convenția Națională Democrată din 1956
După moartea lui Kennedy, casa a fost vândută fratelui lui John, Robert F. Kennedy și soției sale, Ethel, care avea o familie în creștere (în cele din urmă unsprezece copii). În timp ce locuia la Hickory Hill, Robert Kennedy a devenit procuror general al Statelor Unite în 1961; senator al Statelor Unite în 1965; și candidat la președinție în 1968.