اكتب استمرار لهذه الفقرة - تَرَكَ هارجست زوجته وثلاثة أطفال. ابنه الرابع ، جيفري هارجست ، قُتِلَ في 30 مارس 1944 ، في عمر 22 سنة ، خلال معركة مونت كاسينو بينما كان يخدم مع الكتيبة الثالثة والعشرين. دُفِنَ في مقبرة كاسينو الحربية. ابنه اخر قُتِلَ وَهُوَ في الخدمة الفعلية خلال الطوارئ في مالايا
 مدرسة جيمس هارجست الثانوية، وهي منشأة تعليمية في إنفيركارجيل، سميت على اسمه.