A la mort de de ce dernier, il se retira dans son château de la Ferté-Vidame. Là, dans le plus grand secret, ce passionné d’histoire s’attela, notamment, à la rédaction de ses célèbres Mémoires ayant pour grand dessein d’annoncer, au nom des valeurs révolues d'un passé mythique, la fin d’une monarchie absolue livrée à l’hypocrisie et aux machinations. Portant sur les années 1691-1723, associant ironie et gravité ses Mémoires constituent l’un des plus précieux témoignages sur la fin du règne de Louis XIV et sur la Régence.
Epiant les moindres faits et gestes de tous les protagonistes de la cour, rien ni personne n’échappa à l’œil acéré de « l’espion » de Versailles. Entre ses propres observations, le témoignage d’anciens courtisans, et la reprise du journal du marquis de Dangeau (1638-1720), il dépeint les coulisses de la cour avec un sens remarquable du détail et une plume trempée dans le vitriole mais aussi capable de bienveillance.
Conscient de l’impact historique de son travail, il en retarda la publication. D’ailleurs, saisis sur ordre du duc de Choiseul en 1760, ils ne purent paraître que sous forme d'extraits entre 1781 et 1790, à Paris et à Bruxelles. La première édition intégrale de cette œuvre, considérée comme un monument de la littérature française, dut attendre les années 1829-1830.
Si sa vie intellectuelle se confond avec son œuvre en des années d’une incroyable fécondité, il traversa pourtant de dures épreuves. Outre le scandale, pour lui constant, du ministère Fleury et des persécutions antigallicanes, il subit la mort de son fils aîné sans héritier mâle, puis celle de sa femme, Marie-Gabrielle de Durfort de Lorges († 1743) qui le jeta dans un long désarroi.
Ayant mis la dernière main à son travail d'écriture, il consacra l’année 1754 à ses affaires personnelles. La dernière nouvelle du monde à lui parvenir fut le décès de son ami Montesquieu (10 février 1755) à la suite duquel, il fit fermer sa porte, refusant de recevoir personne, ne voulant plus songer qu’à la façon d’aborder sa propre mort. Elle vint le 2 mars après qu’il eût reçu les derniers sacrements. Après le délai de trente heures stipulé par testament, ses obsèques eurent lieu trois jours plus tard en l’église Saint-Sulpice, selon le rite habituel pour un duc et un pair. Nous ignorons qui se déplaça pour lui rendre un ultime hommage. Ne nous faisons pas trop d’illusions : il était oublié à la ville comme à la cour.
Mais Saint-Simon souhaitait reposer en l’église Saint-Nicolas de la Ferté-Vidame, construite par son père, où il avait fait creuser un caveau au pied de la tribune seigneuriale pour y placer le cercueil de sa femme qu’il aspirait à rejoindre. A l’issue du service, on organisa son convoi, tel que rédigé dans les registres de Saint-Sulpice :