1941 júliusában Hickory Hill az újonnan kinevezett Robert H. Jackson és felesége, Irene, az Egyesült Államok Legfelsőbb Bíróságának társ bírájának otthona lett, akik 1955-ben, a halála után eladták Hickory Hill-et az Egyesült Államok szenátorának, John F. Kennedy-nek (D-Massachusetts) és felesége, Jacqueline-nek. Az 1956-os demokratikus kongresszus után
, a házat eladták John testvére, Robert F. Kennedy és felesége, Ethel, akiknek növekvő családja volt (végső soron tizenegy gyermek). Míg Hickory Hillben élt, Robert Kennedy 1961-ben az Egyesült Államok főügyésze lett; 1965-ben az Egyesült Államok szenátorja; és 1968-ban elnökjelölt.