Escribe unha continuación para este parágrafo - Hargest foi sobrevivido pola súa esposa e tres fillos. Un cuarto fillo, Geoffrey Hargest, morrera o 30 de marzo de 1944, aos 22 anos, durante a Batalla de Monte Cassino mentres servía no 23o Batallón. Está enterrado no cemiterio de guerra de Cassino. Outro fillo morreu mentres estaba en servizo activo durante a emerxencia malaia.
- Non. A James Hargest High School, un centro educativo en Invercargill, leva o seu nome.