Profitant de la libération de son fils de sa geôle espagnole, la régente, Louise de Savoie, toujours prompte à nuire à Mme de Chateaubriant, avait fort opportunément amené la jeune intrigante à Bayonne pour accueillir François. Et cela marcha. Avec les années, son rôle alla croissant et la venue de la nouvelle souveraine, Eléonore d’Autriche, n’y changea rien : elle ne lâcha pas une once de son pouvoir.
Mariée à Jean de La Brosse, comte de Penthièvre qui, par la grâce du roi, devint duc d’Etampes, Anne ne cessa d’accumuler dans sa cassette les faveurs de son amant. Âpre aux gains, elle entassa ses richesses comme celles de sa famille.
De surcroît, selon les observateurs de l’époque, elle avait une influence aussi considérable que néfaste, au point que certains la rendirent responsable des guerres de religion ! Même si cet avis n’est pas toujours partagé par des historiens plus contemporains, son pouvoir sur le roi était indéniable. Rappelons, entre autres, qu’afin d’assouvir des plans revanchards à l’encontre de certaines de ses inimitiés, elle trahit François Ier en donnant à Charles Quint les moyens de vaincre son amant lors d’une guerre qui, certes, avorta mais dont le résultat fut la signature du désastreux traité de Crépy-en-Valois en 1544.
De son lit de mort François Ier préféra éloigner la duchesse de la Cour. Elle s’était alors pâmée par terre en criant : « Terre, engloutis-moi… ». Ce ridicule ne l’ayant pas tuée elle quitta rapidement la Cour.
Avec Henri II, l’ère des règlements de compte et des vexations débuta. Devant rendre ses bijoux qui passèrent de sa cassette à celle de…Diane de Poitiers qu’elle haïssait et qui le lui rendait bien, exilée, une partie de ses biens confisqués, ses proches également victimes de la disgrâce, elle finit par obtenir le droit de vivre sur ses terres d’Heilly où elle avait grandi. Elle a réputation d’avoir soutenu les luthériens et/ou de s’être convertie au protestantisme.
Passée des lumières de la cour à l’obscurité de l’oubli, celle qui avait été surnommée « la plus savante des belles et la plus belle des savantes » s’éteignit définitivement.
Cette mort fut si discrète qu’aucun chroniqueur ne nota l’événement et qu’aucune inscription funéraire ni tombe potentielle ne furent retrouvées. On ignore même la date exacte de son décès. On suppose, avec fortes probabilités, qu’elle fut inhumée dans la chapelle du château en grande partie détruit après sa vente en 1848.