Hargestą paliko žmona ir trys vaikai. Ketvirtasis vaikas, Geoffrey Hargest, buvo nužudytas 1944 m. kovo 30 d., būdamas 22 metų, per Monte Cassino mūšį, kai tarnavo 23-ajame batalione. Jis palaidotas Kasino karo kapinėse. Kitas sūnus buvo nužudytas, kai buvo aktyvi tarnyba per Malaizijos nepaprastąją padėtį
- Taip. Jameso Hargesto vidurinė mokykla Inverkargilyje pavadinta jo vardu.