23 ноября 1885 г. Евгений освятил его главный престол. При нём совершилось возвращение отобранной у Астраханского мужского духовного училища в пользу Астраханской гимназии церковь в честь Входа Господня в Иерусалим. В гимназии, как и в других светских учебных заведениях Астрахани, были устроены домовые храмы. 16 декабря 1889 г. Евгений был назначен епископом Ставропольским и Екатеринодарским. Его заботами в епархии были организованы воскресные народные чтения и открыты читальни. При войсковом Александро-Невском соборе Екатеринодара (ныне Краснодар) начало работу Александро-Невское братство, имевшее несколько складов с апологетической литературой. В Ставропольской епархии Евгений занимался делами объединившегося при нём (1892 г.) Андреевско-Владимирского братства. На свои средства Евгений устроил при братстве центральный книжный склад, который по издательским ценам отпускал книги духовного содержания и школьные принадлежности. В епархии братство открывало свои отделения и книжные лавки. На новой кафедре Евгений ввёл практику внебогослужебных бесед, открыл 50 священнических вакансий, чтобы священники могли по очереди отправлять службу на хуторах, где из-за удалённости населения от храма создавалась благоприятная почва для развития сектантства. Тогда же был достроен новый архиерейский дом, и сооружено новое здание епархиального свечного завода с церковью, школой на 60 детей и летней архиерейской дачей. При вступлении Евгения в управление епархией в ней насчитывалось около 200 помещавшихся при сторожках церковноприходских школ, в которых учились 6 тыс. детей. Через несколько лет школ было уже 327, а учащихся – около 13 тыс. За это время в приходах было построено 100 новых школьных зданий. 17 июля 1893 г. Евгений был перемещён на Могилёвскую и Мстиславскую кафедру. В 1895 г. в Могилёве отмечалось 25-летие его архиерейского служения. 10 августа 1896 г. уволен на покой, проживал в Киеве. Похоронен в церкви над Дальними пещерами в Киево-Печерской лавре. Евгений отличался находчивостью, живым, острым умом. Как епархиальный архиерей был весьма доступен, вёл ежедневный, кроме праздничных дней, приём с 8 часов. Сначала принимал просителей из простонародья, которые обычно приходили рано утром, а затем из духовенства и светских лиц. Современники отмечали его способность подбирать помощников. По воспоминаниям, Евгений, «обладая огромной силой воли и твёрдым характером..., не любил не только в чём-либо кривить душой, но и делать угодное по просьбе высших или близких ему лиц. Не ища ни славы, ни почестей, ни наград, он всегда поступал так, как указывали ему долг и совесть. Никогда он не просил о переводе... на другую должность или место, всегда был доволен, куда бы его ни назначили». Все свои средства отдавал нуждающимся и на благотворительные цели. При отъезде из Астрахани в Ставрополь у Евгения не осталось денег на дорогу, и он прибёг к займу. После смерти архиерея имущества по описи у него осталось всего на 90 руб. Награждён орденом св. Анны второй степени.