10 (15) февраля 1875 г., оставаясь викарием Литовской епархии, назначен епископом Ковенским и настоятелем Пожайского в честь Успения Пресвятой Богородицы мужского монастыря. Особое внимание уделял исправлению нарушений уставного богослужения, которые были очень частыми в практике приходских священников. 16 мая 1877 г. Евгений возглавил Минскую и Бобруйскую епархию. С 1878 г. в связи с изменением наименования епархии получил титул «епископ Минский и Туровский». По его инициативе в 1878 г. состоялось торжественное празднование памяти покровителя Минской епархии Кирилла Туровского; издано собрание трудов святителя. В предисловии Евгений писал, что цели издания были не столько научные, сколько практические, чтобы с личностью и трудами святителя ознакомились священнослужители Минско-Туровской епархии. В 1878 г. после ремонта состоялось освящение главного престола кафедрального собора во имя апостолов Петра и Павла в Минске и придела во имя Кирилла Туровского. Ко дню освящения придела Евгений составил тропарь святителя и ему величание. В 1878 г. по его инициативе проводились ремонтные работы в храме Ляденского в честь Благовещения Пресвятой Богородицы монастыря: расширен иконостас, сделана новая крыша, возведён купол. В том же году в минской тюрьме Евгений освятил домовую церковь в честь иконы Божьей Матери «Всех скорбящих Радость», в 1880 г. – церковь во имя Димитрия Ростовского для учениц Минской женской классической гимназии. Во время Русско-турецкой войны 1877–1878 гг. предоставил под лазарет часть архиерейского дома, где было более 50 мест для раненых, за что был награждён знаком отличия Красного Креста. Заботясь о распространении духовного образования, Евгений открыл одногодичное приходское училище (1879 г.) при Минском архиерейском доме, несколько воскресных и церковноприходских школ, для проверки деятельности семинарий и духовных училищ учредил ревизионные комитеты. При нём священный сан получали исключительно лица, имевшие богословское образование; для причётников проводился специальный экзамен, не выдержав который они увольнялись за штат. 4 (по другим сведениям, 26) июля 1880 г. Евгений был назначен епископом Астраханским и Енотаевским. Руководил строительством храма в честь Покрова Пресвятой Богородицы в Астрахани. 29 сентябре 1885 г. освятил его главный придел и открыл церковноприходскую школу. Особое внимание уделял епархиальной библиотеке. Перестроил её здание на свои средства и на средства привлечённых им жертвователей, а 23 ноября 1883 г. освятил. Подарил библиотеке много книг, её фонд составил около 5,3 тыс. томов. Устроил в библиотеке зал, вмещавший 1 тыс. человек, для внебогослужебных чтений, которые открылись 4 декабря 1883 г.