Í júlí 1941 varð Hickory Hill heimili nýnefnds dómara Hæstaréttar Bandaríkjanna, Robert H. Jackson og eiginkonu hans, Irene, sem seldu Hickory Hill eftir dauða hans til Bandaríkjaþingmannsins John F. Kennedy (D-Massachusetts) og eiginkonu hans, Jacqueline. Eftir þingið í flokknum árið 1956
, var húsið selt til bróður Johns, Robert F. Kennedy og eiginkonu hans, Ethel, sem átti vaxandi fjölskyldu (loksins ellefu börn). Á meðan hann bjó á Hickory Hill varð Robert Kennedy dómsmálaráðherra Bandaríkjanna árið 1961; bandarískur þingmaður árið 1965; og forsetaframbjóðandi árið 1968.