O Mote de Annan formou a casa orixinal da familia de Brus, máis tarde coñecida como os Bruces, señores de Annandale, que máis famosamente produciron a Robert the Bruce. Foi na Batalla de Annan en decembro de 1332 cando os partidarios de Bruce derrotaron ás forzas de Balliol para acabar coa primeira invasión de Escocia na Segunda Guerra de Independencia Escocesa.
- Non. Os Balliols e os Douglas tamén estiveron máis ou menos estreitamente asociados con Annan. O castelo de Annan estivo no vello cemiterio e foi orixinalmente a torre da igrexa.