Voltooi de volgende zin: Hargest liet zijn vrouw en drie kinderen achter. Een vierde kind, Geoffrey Hargest, werd op 30 maart 1944 gedood, op 22-jarige leeftijd, tijdens de Slag bij Monte Cassino terwijl hij dienst deed bij het 23e bataljon. Hij is begraven op de oorlogsbegraafplaats van Cassino. Een andere zoon werd gedood terwijl hij in actieve dienst was.
Maleise noodgeval. James Hargest High School, een onderwijsinstelling in Invercargill, is naar hem vernoemd.