20 июля 1864 г. А.Н. Муравьёв испросил благословение митрополита Арсения (Москвина) на устройство в стилобате (фундаменте) Андреевского храма пещерной церкви во имя преподобного Сергия Радонежского и двойного чугунного иконостаса, который пожертвовал Сергей Иванович Мальцев. 7 октября 1864 г. церковь была освящена. А.Н. Муравьёв решил отремонтировать и верхний храм, написал «Обращение к православной России». Был создан специальный комитет, работой которого руководил А.Н. Муравьёв (Отдел рукописей Российской национальной библиотеки). 19 августа 1867 г. было торжественно отмечено 100-летие храма. Гостями А.Н. Муравьёва в Киеве были члены царской семьи (императрица Мария Александровна, наследник цесаревич Александр Александрович (впоследствии император Александра III) с супругой Марией Фёдоровной, великие князья Сергей Александрович и Павел Александрович, Константин Николаевич, Николай Николаевич (Старший) и Николай Николаевич (Младший) и др.), принц Александр Петрович Ольденбургский, иерархи, министры, другие высокопоставленные чиновники, поэты Фёдор Иванович Тютчев, Алексей Николаевич Апухтин, родственники, друзья и знакомые. В доме А.Н. Муравьёва нередко останавливался посол Николай Павлович Игнатьев, бывали граф Евфимий Васильевич Путятин и Уильям Палмер, греки с Афона и болгары, «приходили евреи, прося св. крещения, и иноверцы, желавшие присоединиться к Православной церкви, приходили бедные и нищие, и никому не было отказа». Живое участие А.Н. Муравьёва в разных начинаниях, ходатайство перед светским и духовным начальством переходили иногда границы приличий; по отзыву одних, он был «горячий ревнитель добра», но митрополит Филарет (Дроздов) называл А.Н. Муравьёва ««любителем обличений» за его большую охоту всюду находить недостатки и громко, во всеуслышание обличать их». В 1871 г. А.Н. Муравьёв предпринял поездку в Почаев и Острог к графине Антонине Дмитриевне Блудовой (это путешествие он описал в брошюре «Почаевская лавра и Острожское братство»). С согласия А.Н. Муравьёва его секретарь М.О. Семёнов на свои средства издал «Письма о Православии» (1871, 1873 гг.) тиражом 2,3 тыс. экз., из них 1 тыс. экз. выписал для своей епархии Полтавский епископ Иоанн (Петин). В последние годы жизни из-за отсутствия средств А.Н. Муравьёв хотел покинуть Киев и уехать в Святогорскую Успенскую пустынь Изюмского уезда Харьковской губернии.