После отставки, состоявшейся в 1827 г., Ермолов жил в Орле и селе Лукьянчиково Орловской губернии, каждый год приезжая в Москву, а в 1830 г. он купил имение Осоргино в 26 км к западу от Москвы. В 1831 г. император Николай I пожелал вновь видеть Ермолова на государственной службе. С 1831 по 1839 гг. он являлся членом Государственного совета, подолгу живя в Петербурге, а в 1839 г. присутствовал на торжествах по случаю открытия памятника батарее Раевского на Бородинском поле. С 1839 г. жил зимой в Москве в доме на Пречистенском бульваре, а 1851 г. переехал в новый дом, купленный им неподалеку на улице Пречистенка.

В своих московских домах Ермолов собрал богатейшую библиотеку, насчитывавшую более 9 тыс. томов, сам переплетал книги и написал руководство по переплетному делу. Был постоянным посетителем любительских музыкальных спектаклей и спектаклей Малого театра, особенно ценил игру П. М. Садовского. Незаурядный интерес Ермолов проявлял и к живописи, был в числе первых посетителей выставки работ воспитанников Московской художественной школы, в том числе В. Г. Перова, И. М. Прянишникова, А. К. Саврасова. В круг общения Ермолова входили не только его бывшие сослуживцы М. С. Воронцов, Н. Н. Муравьев, А. И. Чернышев, но и великий князь Александр Николаевич, декабристы С. Г. Волконский, М. Ф. Орлов, М. А. Фонвизин, И. Д. Якушкин, писатели и историки П. И. Бартенев, М. Ю. Лермонтов, М. П. Погодин, Л. Н. Толстой. В 1853 г. Ермолов был избран почетным членом Московского университета «в уважение отличных заслуг на пользу Отечества». В 1855 г. к столетию университета передал в его библиотеку за символическую плату свыше 8 тыс. книг (собрание Ермолова составляет отдельный фонд Научной библиотеки МГУ). В том же году был начальником Московского ополчения. Ермолов пользовался огромной популярностью и уважением у москвичей.

Прощание с умершим Ермоловым в 1861 г. продолжалось в течение двух дней. Гроб с его телом от церкви Спаса на Божедомке до Серпуховской заставы сопровождала процессия жителей Москвы и военных, в том числе гренадеров Несвижского полка. Похоронен в Орле. Именем Ермолова названа улица в районе Бородинской панорамы, его имя выбито на опорном крыльце барабана здания этого музея, на памятной доске одного из обелисков Бородинского моста через Москву-реку. Оно трижды увековечено также на мемориальных досках Георгиевского зала Большого Кремлевского дворца.

Прекрасный писатель Н. С. Лесков так написал об Алексее Петровиче в специально посвященном ему биографическом очерке: «Славу его протрубили не пристрастные газеты, не реляции, которые пишутся в главных квартирах и возвещают то, что желательно оповестить главной квартире, — славу его пронесли во всю Русь на своих костылях и деревяшках герои-калеки, ходившие с Алексеем Петровичем и в огонь и в воду и после за мирным плетением лычных лаптей повещавшие «черному народу», как «с Ермоловым было и умирать красно».

Закончил же свой очерк Лесков следующими, актуально звучащими и сегодня строками: «Алексей Петрович Ермолов поистине характернейший представитель весьма замечательного и не скудно распространенного у нас типа умных, сильных, даровитых и ревностных, но по некоторым чертам «неудобных» русских людей, и разъяснение его личности в связи со всеми касательствами к нему среды, в отпор коей он принимал ту или другую позицию, должно составить вполне глубокую и благодарную задачу и для историка-биографа, и для критика. Тому-то, кто сумеет судить о Ермолове правильно и беспристрастно, предстоит завидная доля сказать многое, очень многое «старым людям на послушание, а молодым на поучение».