A következő mondatot fejezze be: Hargest feleségét és három gyermekét hagyta hátra. A negyedik gyermek, Geoffrey Hargest, 1944. március 30-án halt meg 22 éves korában a Monte Cassino-i csata során, miközben a 23. zászlóaljban szolgált. A Cassino-i háborús temetőben van eltemetve. Egy másik fiát megölték, miközben aktív szolgálatban volt a
Malajzia vészhelyzet. A James Hargest középiskola, egy oktatási intézmény Invercargillben, az ő nevét viseli.