А.В. Гумилевский стал одним из первых организаторов воскресных школ в России. 22 мая 1860 г. в Санкт-Петербурге основал Владимирскую воскресную школу, содержавшуюся на средства городской ремесленной управы; под руководством А.В. Гумилевского в ней преподавали 60 студентов Санкт-Петербургской духовной академии во главе с Андреем Ивановичем Предтеченским (1832–1893 гг.). В октябре того же года открыл Христорождественскую воскресную школу и содержал её за свой счёт. В 1861 г. по благословению покровительствовавшего ему Новгородского, Санкт-Петербургского и Финляндского митрополита Исидора (Никольского) А.В. Гумилевский составил «Правила для преподавания Закона Божия и для наблюдения за обучением в воскресных школах Санкт-Петербургской епархии», а также стал цензором книг духовного содержания для воскресных школ. Выступал против просвещения народа, если оно не основано на Законе Божьем, считал, что в воскресных школах должны преподавать только священники. А.В. Гумилевский писал стихи и песни, в 1860 г. сотрудничал в журнале «Странник», в котором публиковал поучения, рассказы, цикл статей «Заметки приходского священника». В 1861–1865 гг. совместно со священниками Иоанном Клавдиановичем Флёровым (1870–1918 гг.), Димитрием Иродионовичем Флоринским (1827–1888 гг.) и Иваном Григорьевичем Заркевичем (1827–1885 гг.; впоследствии Новомиргородский епископ Николай) издавал журнал «Дух христианина», посвящённый вопросам благотворительности, народного образования. А.В. Гумилевский вёл в журнале летопись Христорождественского братства, критиковал состояние дел в Санкт-Петербургской духовной семинарии и консистории, публиковал анонимные или подписанные псевдонимами корреспонденции о негативных явлениях в жизни столичного духовенства, поднял вопрос о введении выборного начала в среде духовенства. Он обладал проповедническим талантом, многие его проповеди были изданы. После проповеди, произнесённой 4 апреля 1866 г., по окончании благодарственного молебна по случаю спасения императора Александра II Николаевича от покушения Дмитрия Владимировича Каракозова (1840–1866 гг.), распространились слухи, что А.В. Гумилевский призывал крестьян защитить царя от дворян. 18 мая того же года он был переведён в Преображенский собор г. Нарвы, остро переживая своё удаление из Санкт-Петербурга. Но продолжал заниматься благотворительностью, основал при соборе благотворительное общество, построил новый храм в дачном пригороде Меррекюле (ныне Мерикюла, Эстония). 22 марта 1867 г. Александр II по просьбе императрицы Марии Александровны перевёл А.В. Гумилевского в Санкт-Петербург. 6 октября того же года он был назначен вторым священником церкви в честь иконы Божьей Матери «Всех скорбящих Радость» при Обуховской больнице. Настоятель прихода священник А.П. Булгаков создал при нём первое в Европе благотворительное церковное общество для помощи неимущим больным и их семьям, содержавшее два приюта для сирот. А.В. Гумилевский духовно окормлял женское отделение больницы, заботился о похоронах неимущих, об учреждении особой погребальной кассы. Отличался бескорыстием: все получаемые им средства расходовал на помощь нуждающимся. А.В. Гумилевский умер, заразившись тифом во время совершения треб. Отпевание совершил Выборгский епископ Тихон (Покровский), в погребальной процессии приняло участие несколько тыс. человек. А.В. Гумилевский был похоронен на Смоленском кладбище Санкт-Петербурга, над могилой был установлен мраморный памятник, инициатором сбора средств на который стал священник М. Горчаков (к 2006 г. могила и памятник были утрачены). Незадолго до кончины А.В. Гумилевский передал своему будущему биографу Николаю Александровичу Скроботову (род. в 1841 г.) свой обширный архив (не сохранился).