С 1819 г. стала выходить первая газета на русском языке; в том же году для обследования восточного побережья Каспийского моря и выбора места торговли со среднеазиатскими государствами была направлена экспедиция капитана Николая Николаевича Муравьёва-Карского. А.П. Ермолов пользовался популярностью в русской армии и среди членов декабристских организаций (его выдвигали в состав Временного революционного правительства), покровительствовал декабристам и представителям либеральных кругов, например, Александру Сергеевичу Грибоедову, которого фактически спас от судебного преследования по делу декабристов. Во время междуцарствия в 1825 г. А.П. Ермолов на несколько дней задержал принесение присяги Кавказского корпуса императору Николаю I, который относился к нему с подозрением (в письме начальнику Главного штаба генералу Ивану Ивановичу Дибичу император писал: «…Ему менее всего верю»). В начале Русско-персидской войны (1826–1828 гг.) был обвинён в недостаточной подготовке вверенных ему частей Кавказского корпуса к военному столкновению с персидскими войсками в Закавказье; для замены А.П. Ермолову на Кавказ был послан генерал Иван Фёдорович Паскевич, первоначально подчинявшийся А.П. Ермолову. Между ними возник конфликт, для разрешения которого из Санкт-Петербурга с особыми полномочиями прибыл И.И. Дибич, поддержавший И.Ф. Паскевича. В начале марта 1827 г. А.П. Ермолов подал в отставку и 27 марта был отстранён от командования корпусом. 25 ноября уволен в отставку «по домашним обстоятельствам» с мундиром и пенсионом полного жалованья. В ноябре 1831 г. назначен «состоять по армии без должности». С декабря – член Государственного совета (в заседаниях участия не принимал). В 1839 г. по прошению уволен «в отпуск до излечения болезни», в феврале 1855 г., в ходе Крымской войны (1853–1856 гг.), избран начальником ополчения в семи губерниях (Санкт-Петербургской, Московской, Смоленской, Калужской, Псковской, Новгородской и Рязанской), но принял командование только в Московской губернии и в мае из-за разногласий с властями в Санкт-Петербурге оставил эту должность. В законном браке не состоял, но на Кавказе заключил три кебинных брака с мусульманками, от которых имел дочь и пятерых сыновей, которых увёз в Россию, где они были признаны его законными наследниками и получили все права, включая потомственное дворянство. Похоронен на Троицком кладбище в Орле. Награждён орденами святого Георгия четвёртой (1795 г.), третьей (1808 г., за отличие при Пассарге), второй (1814 г., за отличие при взятии Парижа) степени; святого Владимира четвёртой (1796 г., за осаду Дербента), третьей (1807 г., за отличие при Прейсиш-Эйлау), второй (1812 г., за отличие при Малоярославце) и первой (1821 г., за кампанию против горцев) степени; святой Анны второй (1806 г.) и первой (1812 г., за отличие при Бородине) степени; святого Александра Невского с алмазными знаками (1813 г., за отличие при Баутцене и Кульме); святого Андрея Первозванного (1835 г.) и др., в том числе семь иностранными. О А.П. Ермолове много писали поэты-современники. Так, после Бородинской битвы ему посвятил строки Василий Андреевич Жуковский: «Ты ратный брат, ты жизнь полкам» («К Ермолову»); А.С. Грибоедов называл его «сфинксом новейших времён». Александр Сергеевич Пушкин переписывался и встречался с генералом, просил А.П. Ермолова «дозволить» ему быть его издателем и историком (1833 г.), писал о нём в письмах графу Фёдору Ивановичу Толстому, в «Путешествии в Арзрум», в эпилоге «Кавказского пленника». После отставки генерала Д.В. Давыдов посвятил ему стихотворение «На смерть NN», Иван Андреевич Крылов – басни «Конь» и «Булат», где говорится о неумении дурного наездника использовать боевого коня и о заброшенном ржавеющем булатном клинке.