Oli abielus kolm korda, kooselust Marianne-Leontine Ostroviga (1894-1928) sündis poeg Georg-Andres (1919-1970). Teise maailmasõja ajal teenis Georg-Andres Larka Saksa lennuväes, peale sõda elas Kanadas. Viimane abikaasa Helmi-Veronika Ostrov (1903-1981) arreteeriti 1950. aastal, oli Arhangelski oblasti vangilaagris, kust vabanes 1956. aastal ning tuli  tagasi Eestisse. Sellest abielust sündis poeg Peeter-Jaak 1935. aastal.  Kindralmajor Andres Larka arreteeriti Nõukogude julgeolekuteenistuse poolt 23. juulil 1940 Tallinnas Nõmmel. Sõjatribunali otsusega mõisteti 8 aastat vangilaagrit ja 3 aastat asumist kogu vara konfiskeerimisega. Tema ülekuulamistoimikus oli muuhulgas märgitud, et on kõlbmatu koostööks ja värbamiseks. Andres Larka suri 8. jaanuaril 1943 Kirovi oblastis, Malmõþi vanglas. Matmispaik teadmata.  Andres Larkat on iseloomustatud kui  korralikku ja täpset ohvitseri ametikohuste täitmisel. Olid ajad, mil teda peeti erinevate olukordade analüüsimisel ja strateegilistes planeeringutes asendamatuks. Inimesena oli ta vaikne ja tagasihoidliku iseloomuga, heatahtlik ning sõbralik. Seltskonnas käitus alati härrasmehelikult. Hoidis ennast Vene armees teenides isamaa sündmustega pidevalt kursis, külastas eesti perekondi.  Kindral Larkal on hindamatud teened meie riigi relvajõudude loomisel. Me võime vaid ette kujutada, mida ta tundis, kui juhtis  Vabadussõja alguses Peastaapi. Ühelt poolt nõuti juhiseid, teisele poole pidi andma käske, abilisteks kogenematud adjutandid. Isegi tema oma erakordse organiseerimisvõimega ei olnud ju jumal maapeal, vaid lihtsalt inimene. Isegi siis, kui saatus tahtis teha temast poliitiku, jäi ta väärikaks oma tegemistes. Vabadussõjalaste juhina tahtis ta oma isamaale parimat. Võib-olla poleks ta pidanud poliitikasse sekkuma, kõik võib olla. Siiski on iga inimese elutee erinev ja kõigile on antud käia oma kindel rada.  See on nii, sest siin ilmas oleme vaid külalised.