Холмскому женскому училищу и многим другим епархиальным учреждениям, расширил три приюта при женских монастырях – Леснинском, Вировском и Теолинском и учредил новый при Радочницком монастыре (1899 г.); основал Общество вспомоществования нуждающимся учащимся при Варшавском духовном училище и первую в Варшаве церковноприходскую школу (1900 г.), ежегодно присутствовал на экзаменах по Закону Божию в гимназиях и Александро-Мариинском институте. В 1900 г. был расширен Николаевский приют для солдатских детей, в котором 23 июля 1902 г. Иероним совершил чин закладки церкви во имя Николая Чудотворца. В память о своём сыне, художнике Иване Экземплярском, скончавшемся от нефрита в августе 1902 г. в Пятигорске, Иероним устроил на Вольском кладбище храм во имя Иоанна Лествичника. Для строительства храма, предполагаемого в качестве семейной усыпальницы, Иероним приобрёл участок в 1 га к востоку от старого православного кладбища, основанного в 1834 г. на вольских редутах. Мемориал создавался в память о погибших при штурме в 1831 г. русских воинах (официально открыт в 1841 г. с освящением на нём Владимирской церкви, перестроенной по инициативе генерал-фельдмаршала Ивана Фёдоровича Паскевича-Эриванского из костёла св. Лаврентия). Старый храм при Иерониме в 1901 г. был отремонтирован и заново освящён. Закладка новой церкви состоялась 28 июня 1903 г. После заупокойной литургии в её основание была положена серебряная доска «на вечное поминовение души усопшего раба Божия Иоанна». Проект небольшой одноглавой церкви в стиле древней архитектуры Северо-Восточной Руси с усыпальницей в нижнем этаже и крытой галереей составил варшавский епархиальный архитектор Владимир Николаевич Покровский. Иконы в «васнецовском стиле» написал киевский художник Александр Александрович Мурашко. Освящение храма состоялось 1 октября 1905 г. 16–19 мая 1905 г. Иероним выступил на созванном по его инициативе Соборе духовенства в Холме, призвав пастырей противостоять нападкам на православие, которые усилились после указа 17 апреля 1905 г. «Об укреплении начал веротерпимости». 16 июня того же года Холмско-Варшавская епархия была разделена на две части: Холмскую и Люблинскую с центром в городе Холме возглавил епископ Евлогий (Георгиевский), а Варшавскую и Привислинскую – Иероним. Число окормляемых им православных приходов сократилось больше чем в четыре раза. Последним трудом Иеронима было «Воззвание к пастырям Варшавской епархии о воздействии с их стороны к устранению междоусобной розни среди населения», написанное по поводу усиления в Привислинском крае революционного террора. 25 октября 1905 г. восьмое из его обращений к пастырям и пастве Варшавской епархии было окончено. 29 октября Иероним был напутствован Святыми Таинами, 1 ноября над ним было совершено таинство соборования.