Han var ein av dei høgaste militære offiserane på den tida, og i dag er meir enn 30 stader rundt om i verda heitte etter han. I Guernsey, der han var guvernør i 24 år, er det eit skule, ein veg og eit fortidshospital kalla etter han. Tidlegare i år stemde studentar ved den liberale kunstinstitusjonen Amherst College i Massachusetts for å fjerna "Lord Jeff" som uoffisiell maskot etter å ha vorte anklagd for å ha godkjent at indianarar skulle bli utrydd av dei med å gi dei koppar gjennom smitte teppe. Som sjefkommandant for den britiske hæren i Nord-Amerika før sjølvstende, vert det sagt at Jeffery Amherst "både foraktade og hata fienden sin", ifølge historikaren Henry Morse Stephens. I eit postskript til ein engelsk offiser, Henry Bouquet, har han tilsynelatande skrive: "Du gjer vel i å freista å innskjera indianarane med dekker, og i å freista alle andre metoder som kan tjene til å utrydda denne forferdelege rasen. "Eg skulle vore svært glad om planen din om å jaga dei med hundar kunne få effekt, men England er for langt unna til å tenkja på det i dag". Andre høgare lærestodestande, som Universitetet i Cape Town og Oxford University, har møtt studentprotester på grunn av tilknytinga til ei annan kolonial figur, den britiske imperialisten Cecil Rhodes. Kampen "Rhodes Must Fall" førte til at UCT fjernte ei statue av den 19. århundrets politikaren. Professor Elizabeth Fenn, ein historikar ved University of Colorado, som forskar på Amherst-smittkoppen, sa til BBC: "Eg er lettvist og glad for å sjå den helhjartlege avvisinga av Jeffery Amherst. "Han var for folkemord, den totale utryddinga av urfolka. Spørsmålet vi burde spørje oss er kvifor tok det så lang tid". I Montreal underskrivde meir enn 6.500 menneske ein online-petisjon for å omnamna byen Amherst Street etter den tidlegare statsministeren i Quebec, Jacques Parizeau, som døydde i 2015. Morse Stephens skreiv: "Selv om han ikkje var ein stor mann... var det ubestemdeleg dei personlege kvalitane hans, og han kunne ikkje ha vore ein vanlig mann som hadde stige frå Page til hertug av Dorset til å vera feltmarskal kommanderende-i-hovud". Det er ikkje kjent om Sir Jeffery Amherst nokon gong besøkte Guernsey under tida han var guvernør på øya, men arven hans lever fram til i dag på fleire stader; Amherst Primary School, Amherst Road og Amherst Room ved Castle Cornet. Det var eit Amherst-moderehus i St. Peter Port, men området vart ombyggd til bolig. Den lokale historikaren, oberst Richard Graham, sa at lord Amherst hadde vorte sett på som ein nasjonal helt "der Guernsey bad i sin reflekterte herlegdom i løpet av dei 24 åra han var i embetet". Så har nyare hendingar i utlandet hatt noko å seia om omdømet til generalen i Guernsey? "Eg trur fast at dei burde dømmas og akseptert etter si tid, og ikkje etter vår. Om hundre år vil våre handlingar bli granska på same måte, og det vil finnast nokre dømmande sjeler som vil sjå ondskap i ting som vi for tida ser som harmlege. "Dette vil ikkje seie at gruselege handlingar som sett i ondskapene til Hitler, Stalin og Pol Pot er minst gruselege fordi dei skjedde då og i verda som den var. "Men sjølv desse avskyfulle gjerningane må forklara seg og forståast som om dei kom frå tida deira, om det skal trekkjast dei rette lektionane frå historia". I samband med dette sa ein representant for utdanningsdepartementet på øya og for St. Peter Port Parish til BBC at ingen hadde kome til dei for å bytte namn på lokale stader som heiter Amherst.
Lord Jeffery Amherst, ein britisk general frå 1700-talet, er ein av dei som står i sentrum for den globale debatten om arven frå kolonialismen.