Boleynin perhe oli alun perin kotoisin Blicklingistä Norfolkissa, 24 kilometriä Norwichista pohjoiseen. Annen syntymän aikaan Boleynin perhettä pidettiin yhtenä englantilaisen aristokratiaan arvostetuimmista. Hänen sukulaistensa joukossa oli Howards, yksi maan huomattavimmista perheistä; ja yksi hänen esivanhemmistaan oli Englannin kuningas Edward I. Eric Ivesin mukaan hän oli varmasti jalompaa syntyperää kuin Jane Seymour, Catherine Howard ja Catherine Parr, Henrik VIII:n kolme muuta englantilaista vaimoa. Boleynin nimen kirjoitus oli vaihteleva, kuten tuolloin yleinen.
kauppias ja villankauppias