Ljúktu eftirfarandi setningu: Hargest átti eiginkonu og þrjú börn. Fjórða barnið, Geoffrey Hargest, var drepið 30. mars 1944, 22 ára gamall, í slaginu við Monte Cassino meðan hann þjónaði með 23. sveitinni. Hann er grafinn á Cassino stríðskirkjugarðinum. Annar sonur var drepinn á meðan hann var í virkri þjónustu á
Malaska neyðarástand. James Hargest High School, menntastofnun í Invercargill, er nefnd eftir honum.