Благодаря трудам Иринарха через некоторое время была учреждена отдельная Рижская епархия с духовной консисторией. Одной из главных задач, поставленных перед викарием, была борьба со старообрядчеством, в том числе через распространение единоверия. Спустя всего несколько дней после прибытия в Ригу епископ беседовал со старейшинами Гребенщиковской староверческой молельни о необходимости учреждения единоверческого прихода. В 1837 г. был открыт первый единоверческий храм в Риге. О деятельности епископа упоминал Николай Семёнович Лесков в записке «О раскольниках города Риги, преимущественно в отношении к школам». Проявляя достаточно либеральное отношение к лютеранским традициям, Иринарх полагал: «Во времена апостолов епископы были своего рода благочинными и стояли наравне со священниками. Поэтому лютеранам и нет нужды вводить епископальный порядок. Традиция, не опирающаяся на Священное Писание, не является обязательной». При Иринархе в среде латышей-лютеран началось движение за переход в православие. Главной причиной было желание крестьян Прибалтики освободиться из-под гнёта помещиков-лютеран. Непосредственным поводом стал голод в Лифляндии в начале 1840 гг. и слухи о том, что крестьян, которые перешли в православие, будут переселять в «тёплые края». Так, в июле 1841 г. в архиерейский дом к Иринарху приходило множество крестьян с просьбами о «милостях» и прошениями, чтобы епископ «сообщил правительству об их бедственном положении и помог ходатайствовать о переселении во внутренние губернии». Викарий сочувственно относился к этому движению, обильно жертвовал хлеб и деньги, но разъяснял крестьянам, что он «поставлен не для перевода из одной губернии в другую, а для присоединения к той церкви, которой он служил, желавших вступить в неё». Действия Иринарха вызывали недовольство немецких дворян и лютеранских пасторов, а также Эстляндского, Курляндского и Лифляндского генерал-губернатора барона Матвея Ивановича (Кара Магнуса) Палена, обвинявшего епископа в подстрекательстве к крестьянским волнениям. В конфликт вмешалась центральная власть, и Иринарху было вынесено порицание. Указом императора Николая I в конце июля 1841 г. архиерею было запрещено принимать от латышских крестьян прошения. Но поток просителей не прекращался. Так, 4 августа несколько латышей с прошениями о присоединении их семей к православию, добивавшиеся аудиенции у архиерея, были арестованы. В рапорте Синоду от 22 августа 1841 г. Иринарх сообщал: «Узнав достоверно, что изъявляющие желание присоединиться к православию преследуются без всякой пощады, особенно на местах своего жительства, я тотчас прекратил принятие прошений о присоединении». Указом от 15 сентября 1841 г. Синод повелел Иринарху «остановиться принятием прошений от лифляндских крестьян о присоединении их к православной Церкви до прекращения возникших между ними беспорядков». Духовенству рекомендовалось «изъяснять желающим» принятия православия, что «для сего нужно знание правил веры, испытание в них и приготовление и тем отклонить оное до благоприятного времени, когда последует на то разрешение». Однако клеветнические доносы на Иринарха не прекращались.