Назначение «встретил с великой радостью», поскольку раньше настоятельствовал в монастырях этой епархии. Совершал частые объезды храмов, заботился о нуждах приходских священнослужителей, в Глинской и Курской Коренной обителях освятил несколько построек. В мае 1894 г. Иувеналий посетил Белгородское духовное училище, в котором освятил домовую церковь во имя Николая Чудотворца, беседовал с преподавателями и учениками. При Иувеналии начался капитальный ремонт Троицкого собора. По его благословению настоятелем белгородского Свято-Троицкого монастыря стал архимандрит Владимир (Покровский), переведённый из ярославского во имя святителей Афанасия и Кирилла монастыря. 6 января 1897 г. Иувеналий рукоположил во иерея и определил к клиру Преображенского собора города Путивля Дмитрия Григорьевича Воскресенского (см. архиепископ Курский Дамиан). Архиерей любил Курскую и Белгородскую кафедру, надеялся после кончины быть похороненным на Белгородской земле, о чём указал в первом своём завещании. В день назначения на Виленскую кафедру Иувеналий пребывал в курской Знаменской обители. В ночь с 7 на 8 марта 1898 г. некий Анатолий Георгиевич Уфимцев устроил взрыв в монастырском соборе. По свидетельству очевидцев, взрыв был такой силы, что келейник епископа «был сброшен с постели». Пострадал и сам собор, и сень, в которой находилась чудотворная Курская-Коренная икона Божьей Матери «Знамение». Архиерей, «с трудом пробравшись через груду обломков, с трепетом приблизился к тому месту, где находилась святыня и вынул из серебряного кивота совершенно невредимый образ Божьей Матери». Современники называли Иувеналия «выдающимся государственным деятелем на Западной окраине нашего отечества». 7 марта 1898 г. он возглавил Литовскую и Виленскую епархию в сане архиепископа, с назначением настоятелем Свято-Духовской обители (см. Вильнюсский в честь Сошествия Святого Духа на апостолов монастырь). 27 марта прибыл в Вильну. По свидетельству архиепископа Антония (Храповицкого), Иувеналий «прежде всего, обратил внимание на состояние монастырей и улучшил их. Он сам постригал в монашество, причём пострижение сопровождал наставлениями, благотворно действующими на постригаемых». При Иувеналии значительно увеличилось число насельников Свято-Духовского монастыря: к январю 1904 г. в штате состояли архимандрит-наместник, девять иеромонахов, три иеродиакона, пять монахов и 34 послушника. По ходатайству Иувеналия перед Синодом в 1901 г. был возрождён Березвечский в честь Рождества Пресвятой Богородицы женский монастырь, который архиерей посещал ежегодно 2 июля, в день празднования Иувеналию Иерусалимскому. 25 октября 1898 г. в предместье Вильны – Новом Свете Иувеналий освятил каменный пятиглавый Александро-Невский храм, в здании которого располагались две церковноприходские школы (мужская и женская).