Mais, profondément choqué par les atrocités commises par les émeutiers, n’ayant pu sauver son gendre d’un massacre, détesté des royalistes, insulté quotidiennement dans la presse par Marat et Desmoulins qui lui reprochaient sa tiédeur, sa popularité s’effrita lentement. Le soufflé de la sympathie populaire retomba brutalement et définitivement quand il fit tirer sur les sans-culottes au Champ-de-Mars le 17 juillet 1791 et décréta la loi martiale.
Il démissionna et quitta Paris, sans toutefois émigrer contrairement aux recommandations de ses amis. Il venait tout juste de se réfugier chez son collègue Laplace à Melun quand il fut arrêté le 5 septembre 1793.
Appelé à témoigner lors du procès de Marie-Antoinette, lui-même traité en accusé mais ne pouvant se défendre contre un tribunal qui le déclarait « servilement vendu au tyran », il fut condamné à mort deux mois plus tard. Son exécution fut l’occasion pour la foule d’organiser une véritable cérémonie expiatoire de ses actions de 1791.