Ермолов похоронен в Орле, рядом со своим отцом, в особом приделе Троицко-Кладбищенской церкви. На одной из стен могильного склепа вделана доска с простой надписью: “Алексей Петрович Ермолов, скончался 12 апреля 1861 года”.

Перед его гробницей теплится чугунная лампада, поражающая своим устройством и происхождением. Она утверждена на медном пьедестале и состоит из настоящей чугунной гранаты, в которую вставлена стеклянная лампа. На чугуне грубыми литерами отчеканено: “Служащие на Гунибе кавказские солдаты”. Лампада устроена усердием нижних чинов кавказской армии на собранную ими сумму в сорок рублей серебром. И этот простой памятник дороже и краше всякого мавзолея.

Ермолову нет нигде памятника. Но гордые скалы Кавказа составляют несокрушимый пьедестал, на котором истинно русский человек вечно будет видеть величавый образ Ермолова, окруженный лучами бессмертной славы.