Commandant en chef de la seconde armée de la Loire, il arrêta un temps l'offensive allemande à Villorceau avant de se replier sur Vendôme, puis sur Le Mans où son armée fut battue les 10 et 11 janvier 1871, ce qui ne l’empêcha de s’opposer à la paix en réorganisant l’armée défaite.
Son prestige n’ayant pas été entamé, sans avoir fait acte de candidature, il fut élu député des Ardennes (1871) et siégea au centre-gauche. Nommé sénateur inamovible (1875), il fut élu président du conseil général des Ardennes bien qu’il ait été nommé gouverneur général civil et commandant des forces de terre et de mer en Algérie où il résidait.
Après la démission de Mac-Mahon, lors des élections présidentielles de 1879, sans être candidat, il obtint 14,8 % des voix contre Jules Grévy.
Sa situation de gouverneur général en Algérie étant devenue impossible, il fut nommé ambassadeur en Russie avant de démissionner au bout de trois ans. Réintégré à l'état-major général et nommé membre du Conseil supérieur de la guerre (1882), il prit le commandement du 6e corps d'armée à Châlons-sur-Marne où il mourut d'une hémorragie cérébrale sans avoir eu le temps de mesurer l’ampleur de ses réformes.
La nouvelle de sa mort provoqua une vive émotion dans tout le pays.
Après l’exposition de son corps, sa veuve ayant refusé des funérailles nationales à Saint-Louis des Invalides, elles furent organisées à Châlons. Bien que plus modestes, tentures noires, drapeaux et toute la solennité requise accueillirent des officiers, des ministres, des représentants de plusieurs ministères, des délégations de la Chambre et du Sénat, des membres du corps diplomatique et de la société civil, etc., et une foule immense, tous venus rendre un dernier hommage. Après les discours des hautes autorités, les derniers adieux, les roulements de tambours, le défilé de la garnison et une nuit passée dans la cathédrale, le corps d’Alfred Chanzy, escorté par des officiers du 106e d’infanterie et un peloton de spahis, rejoignit le train spécial qui le menait à sa tombe où reposait son fils, Louis, mort tragiquement à l’âge de sept ans, au petit cimetière de Buzancy où il fut inhumé le 11 janvier, et où se dresse le mausolée familial. Sa mémoire est honorée au Panthéon.