В январе 1894 г. в Казанском соборе Вышенской пустыни Иероним возглавлял чин отпевания Феофана Затворника. В Тамбове ему пришлось столкнуться с противодействием со стороны графини Елизаветы Андреевны Воронцовой-Дашковой и других помещиков и помещиц, стремившихся оказывать влияние на церковные дела. 30 апреля 1894 г. Иероним возглавил Литовскую и Виленскую епархию, 6 мая 1895 г. возведён в сан архиепископа. Ему подчинялись викарии: Брестские – епископы Иосиф (Соколов), с 1897 г. – Иоаким (Левицкий) и Ковенские – епископы Христофор (Смирнов), с 1897 г. – Михаил (Темнорусов). Являлся председателем совета виленского Свято-Духовского братства, при котором в 1895 г. созвал Комиссию нравственно-религиозных чтений и устроил типографию. 25 октября 1894 г. учредил Свято-Андреевское попечительство для оказания помощи бедным ученикам духовных училищ. В Вильно стараниями Иеронима были возведены церковные здания со школами в районах Снипишки (храм в честь Чуда архангела Михаила, в память графа Михаила Николаевича Муравьёва, строился при поддержке Иоанна Кронштадтского, освящён Иеронимом 3 сентября 1895 г.) и Новый Свет (храм во имя Александра Невского заложен 6 июня 1896 г. в память императора Александра III, выстроен и украшен на средства архиерея, освящён 28 октября 1898 г.; в настоящее время восстанавливается). По инициативе Иеронима начался сбор пожертвований на церковь-школу в районе Лукишки (архиерей лично передал для этой цели 5 тыс. руб.). 28 ноября 1895 г. приют при Мариинском женском монастыре преобразован в трёхклассное училище. 12 ноября 1897 г. открыта школа для подготовки псаломщиков и учителей церковного пения. Были открыты самостоятельные приходы в Снипишках (25 ноября 1895 г.) и при кладбищенской Евфросиниевской церкви (7 февраля 1896 г.), отлит колокол для кафедрального Пречистенского собора. 21 ноября 1894 г. Иероним освятил храм во имя св. Жён-мироносиц в Гродненской женской гимназии, 22 января 1895 г. – церковь во имя Николая Чудотворца в Беловеже, 3 октября 1897 г. совершил закладку памятника графу М.Н. Муравьёву-Виленскому, весной 1897 г. участвовал в праздновании 300-летия Свято-Духовской церкви. В Ковно освятил крепостной Петропавловский собор (17 сентября 1895 г.), учредил Петропавловское братство ревнителей веры и благотворения, церковноприходскую школу. Сумма личных пожертвований Иеронима на епархиальные нужды превысила 70 тыс. руб. Проповеди архиерея печатались в «Литовских епархиальных ведомостях». С 27 февраля 1898 г. Иероним – архиепископ Холмский и Варшавский. Назначен на кафедру после архиепископа Флавиана (Городецкого), который находился с генерал-губернатором города Варшавы князем Александром Константиновичем Имеретинским в конфликтных отношениях.