Maître de la Chambre des comptes, il devint conseiller au Grand conseil en 1624. Procureur du roi au Châtelet (1631), intendant auprès de l’armée d’Italie (1640), il fut nommé secrétaire d’Etat trois ans plus tard.
Déjà, il avait commencé la réorganisation de l’armée, tâche difficile s’il en était car il s’attaqua à des habitudes déplorables et néfastes : afin d'accroître le bénéfice de leur charge, les commandants de compagnies - véritables propriétaires de celles-ci dans la mesure où la charge d'officier militaire était vénale- préféraient bien souvent corrompre les commissaires de guerre préposés aux revues, plutôt que d'enrôler le nombre d'hommes réglementaire. Pour y remédier, Le Tellier ne cessa de motiver ses commissaires et de surveiller avec soin les comptes des trésoriers généraux, les intendants d'armée.
Resté fidèle à Louis XIV durant la Fronde, il fut chargé des négociations avec les princes et participa à la signature du traité de Rueil en 1649. Pendant les exils forcés de Mazarin, il joua un rôle considérable comme conseiller d’Anne d’Autriche.
Admiratif de ses compétences, et lui-même très impliqué dans les affaires militaires, le roi, comme Le Tellier, savait l'importance du quotidien et du matériel : des règles de paiement furent établies dès 1660, on mit aussi en place un système d'étapes, la durée des engagements fut fixée lui confia des charges importantes. De nombreuses ordonnances portaient les signatures de Louis XIV et de Le Tellier.
Il exerça ses fonctions de secrétaire d’Etat seul, jusqu’en 1661, année où il les partagea avec son fils, Louvois, mais conserva la signature jusqu’à sa nomination de chancelier et de garde des Sceaux en 1677.
Adepte du népotisme, il créa un réseau important de clients politiques qui lui permit d'asseoir son pouvoir à la cour. Sur les conseils de son beau-frère, Jean-Baptiste Colbert de Saint-Pouanges, il engagea à son service le jeune Jean-Baptiste Colbert qu’il plaça de façon stratégique auprès du cardinal de Mazarin…
Redoutable adversaire des protestants, il poussa Louis XIV à la Révocation de l’Edit de Nantes (18 octobre 1685) qu’il souhaitait ardemment. Ce fut son dernier acte. Il mourut douze jours plus tard.
Michel Le Tellier fut inhumé en l’église Saint-Gervais-Saint-Protais. Si ses restes ont disparu, son mausolée, sculpté par Pierre Mazeline et Simon Hurtrelle, existe toujours. Il est remisé dans la chapelle Saint-Gervais.