Dans le même temps, toujours obsédé par son anti-cléricalisme, il favorisa l’émergence d’un nouveau culte la théophilanthropie* dont il devint le chef. Puis refusant de prêter serment à Bonaparte après le 18 brumaire, il quitta la vie politique ce qui lui valut, malgré des tracasseries policières, de ne pas être exilé lors de la Restauration.
Les persécutions dues à son appartenance aux Théophilanthropes ayant cessé, on laissa vivre tranquille ce patriote sincère et honnête qu’on respectait, à défaut de l’aimer. Tel était le cas de Napoléon Ier qui parlait encore de lui à Sainte-Hélène.
*Cette doctrine, qui reniait toute forme de culte et de cérémonial, se propagea à partir de 1797 et fut interdite par Napoléon en 1801.