После выхода в свет книги Эрнеста Жозефа Ренана «Жизнь Иисуса Христа» Ириней перевёл с немецкого языка сочинение В. Ците «Земная жизнь Господа Спасителя нашего Иисуса Христа», которое за 15 лет выдержало четыре издания (Киев, 1867, 1870, 1874, 1882 гг.). Ириней публиковал собственные критические статьи (преимущественно в «Воскресном чтении» и «Трудах Киевской духовной академии»), а также издал обзор «Апологетическая и полемическая литература на Западе против сочинения Э.Ж. Ренана «Жизнь Иисуса»» («Труды Киевской духовной академии», 1864 г. №9) и книгу «За веру и против неверия, или Общепонятная защита главных оснований христианского вероучения» (Киев, 1879 г.). Также Ириней перевёл с английского языка книгу О. О'Рейли «Мученики Колизея» (Киев, 1875 г.), с греческого – «Толковую Псалтирь» Евфимия Зигабена, «изъясненную по святоотеческим толкованиям», с прибавлением своих историко-экзегетических замечаний (Киев, 1883 г.). В 1891 г. за педагогические и просветительские труды Ириней был награждён Высочайшей грамотой. 19 декабря 1892 г. он был назначен епископом Могилёвским и Мстиславским вместо епископа Павла (Вильчинского), определённого на эту кафедру 21 ноября. Но в связи с болезнью назначенного в Астрахань епископа Исаакия (Положенского) 2 декабря епископ Павел был оставлен на Астраханской кафедре. На новом месте Ириней много времени уделял духовно-учебным заведениям епархии. 17 июля 1893 г. он был назначен епископом Тульским и Белёвским и 12 августа выехал из Могилёва. В Тульской епархии Ириней ввёл в храмах чтение и пение по киевским образцам, заботился об устройстве церковных хоров, упорядочил работу епархиального братства во имя Иоанна Предтечи, организовал Братскую школу с преобладающим курсом церковного пения. Ириней занимался просвещением прихожан сельских храмов, проводил внебогослужебные беседы с народом. При нём значительно увеличилось число церковноприходских школ и школ грамоты, школ для девочек и школ с ремесленными отделениями. 1 декабря 1893 г. Ириней открыл образцовую церковноприходскую школу при епархиальном женском училище, в 1895 г. – попечительство о «недостаточных воспитанницах». По его инициативе в 1894 г. было расширено здание семинарии, в 1895 г. – епархиального женского училища. Только за 1894 г. епископ три раза объезжал епархию, посетил до 35 городских и около 50 сельских храмов и четыре монастыря. В том же году были открыты единоверческий приход в Туле и Богородице-Владимирская женская община в Крапивенском уезде. 2 ноября 1896 г. Ириней был определён епископом Подольским и Брацлавским, 21 ноября выехал из Тулы. За время управления Подольской епархией усовершенствовал институт благочинных, повысив статус благочиний, принял ряд мер для повышения образовательного уровня духовенства, оживления приходской жизни. При Иринее строились новые здания церковноприходских школ, их количество достигло почти 250 (общее число учащихся девочек 20 тыс.), было открыто восемь второклассных школ.