К новому архиерею А.К. Имеретинский также не благоволил. Люблинским викарием Иеронима был епископ Тихон (Беллавин), сопровождавший его 2–4 мая 1898 г. во время посещения города Холм (ныне Хелм, Польша). После назначения епископа Тихона на Алеутскую кафедру в том же году викарием стал епископ Герман (Иванов), с 1903 г. – епископ Евлогий (Георгиевский). 21 мая 1898 г. в Троицком кафедральном соборе Иероним встречал великого князя Владимира Александровича. 7 октября 1901 г. в городе Томашове Петроковской губернии на освящении храма во имя царевича Димитрия присутствовал император Николай II и императрица Александра Фёдоровна, к которым возглавлявший церемонию архиерей обратился с особой речью. В 1898 г. Иероним освятил церковь на станции Лапы, церковь мученицы Татианы при первой варшавской мужской гимназии, церковь равноапостольной Ольги, приют и школу в Лодзи, в 1899 г. – храм в крепости Зегрже; совершил закладку сестринского общежития с трапезной церковью Леонтия Ростовского в Вировском женском монастыре. Освятил храм во имя Николая Чудотворца в Вене (4 апреля 1899 г.), подарив приходу икону святителя Николая в серебряной позолоченной ризе, а также первую приходскую церковь в городе Прасныше Плоцкой губернии в честь Рождества Пресвятой Богородицы (24 ноября 1900 г.). Кроме того, при Иерониме были построены церкви в городах Радоме, Лукове, Велюне, Волковышках, Острове, Константинове, Сосновицах, Пултуске, Кольно, Влоцлавске, шесть церквей в сёлах, начато сооружение десяти церквей. Он выбрал место для храма святителя Алексия, митрополита Московского, при больнице душевнобольных в Творках под Варшавой. Также Иероним попечительствовал постройке кафедрального собора во имя князя Александра Невского в Варшаве (1894–1912 гг.; не сохранился), 9 ноября 1900 г. освятил кресты перед их поднятием. На торжестве присутствовал князь А.К. Имеретинский, через некоторое время скоропостижно скончавшийся. 21 ноября 1901 г. Иероним отпевал его в варшавской Замковой церкви. С 8 декабря 1900 г. до 12 мая 1901 г. Иероним находился в отъезде, участвуя в заседаниях Синода в Санкт-Петербурге. 1 июня 1903 г. в деревне Гура освятил обновлённый храм во имя Леонтия Ростовского при загородном архиерейском доме, где он любил отдыхать. Иероним выступал решительным противником применения насильственных мер по распространению православия среди местного населения, в частности, среди сторонников унии, особое внимание уделял духовному просвещению и делам милосердия, реформе духовного суда. В период служения на Варшавской кафедре пожертвовал 40 тыс. руб. на устройство сиротского приюта-школы варшавского Свято-Троицкого православного братства для детей от смешанных (православно-католических) браков, который получил его имя, и 5 тыс. руб. – на устройство богадельни; выделял содержание Вировскому во имя Всемилостивого Спаса и Радочницкому монастырям, Седлецкой церкви-школе во имя Леонтия Ростовского (освятил 30 ноября 1900 г.),