Heinäkuussa 1941 Hickory Hillistä tuli Yhdysvaltain korkeimman oikeuden vasta nimitetyn apulaistuomarin Robert H. Jacksonin ja hänen vaimonsa Ireneen koti, joka hänen kuolemansa jälkeen vuonna 1955 myi Hickory Hillin Yhdysvaltain senaattorille John F. Kennedylle (D-Massachusetts) ja hänen vaimolleen Jacquelineen. Vuoden 1956 demokraattisen kansalliskonventin jälkeen
, talo myytiin Johnin veljelle Robert F. Kennedylle ja hänen vaimolleen Ethelille, joilla oli kasvava perhe (lopulta yksitoista lasta). Kun hän asui Hickory Hillissä, Robert Kennedystä tuli Yhdysvaltain oikeusministeri vuonna 1961, Yhdysvaltain senaattori vuonna 1965 ja presidenttiehdokas vuonna 1968.