Впоследствии католические историки А. Тайнер, А. Гупин, Э. Ликовский приводили неверные сведения о том, что Иосиф инициировал ссылку униатских монахов и монахинь в Сибирь, заключение их в тюрьмы и отправку на каторжные работы. Несмотря на карьерный взлёт, положение Иосифа было весьма сложным. Польско-католическая партия в крае и её столичные покровители (в Санкт-Петербурге проживало более 20 тыс. поляков) относились к архиерею резко негативно. Отдавая себе отчёт во всём этом, 26 февраля 1839 г., сразу после успешного совершения воссоединения, Иосиф подал императору записку с просьбой почислить его на покой. Своё желание он объяснял тем, что после ликвидации унии его личность станет для правительства обузой, а для православной церкви источником неприятностей. Император Николай I оставил Иосифа на посту и назначил пожизненную пенсию в сумме, полагавшейся со времён императрицы Екатерины II отрешённым от должности униатским епархиальным архиереям. В 1840–1842 гг. Иосиф занимался ликвидацией административных последствий унии: перевёл воссоединённые приходы в ведение местного православного епархиального начальства и постепенно сократил полномочия органов управления воссоединённой церкви, передав их Синоду. При этом он действовал «против себя», т.к. уменьшалось значение Белорусско-Литовской духовной коллегии, которая по представлению Иосифа была закрыта в 1843 г. После этого его пребывание в Санкт-Петербурге не имело смысла, и в 1844 г. он переселился в Жировицкий монастырь. В 1840–1845 гг. Иосиф имел обширные планы по организации православной миссии среди католиков империи. Для их осуществления он представил правительству план по замене ультрамонтански настроенных членов управления католической церковью в России более умеренными людьми, лично ему известными, но намерения архиерея не встретили поддержки. В 1842 г. Иосиф решил изменить и внешний вид воссоединённого духовенства. Для этого он и несколько ближайших сотрудников отрастили бороду, надели православное облачение. Притом Иосиф запретил приходскому духовенству самовольно делать то же самое, объявив, что такое разрешение может быть дано только как награда за усердную службу и хорошее поведение. По рекомендации Иосифа были хиротонисаны два епископа из бывших униатов: в 1839 г. – Михаил (Голубович), а в 1848 г. – Игнатий (Железовский). В 1845 г. Иосиф перевёл епархиальное управление и семинарию из Жировиц в Вильну – в центр полонизма и латинства в крае. 3 августа 1847 г. между Римско-католической церковью и Правительством Российской империи был заключён конкордат, который ободрил католическое общество. Таким образом, после 1847 г. деятельность Иосифа, несмотря на знаки благоволения от властей (с 1847 г. – член Синода), сводилась к охранению своей паствы от нападок «римлян», действовавших в обход существовавших законов. Архиерей подвергался клевете и запугиванию. В сентябре 1840 г., желая воспрепятствовать освящению собора Николая Чудотворца в Вильне, переоборудованного из костёла св. Казимира (1596–1604 гг.; в 1834–1837 гг. реконструирован), поляки распространили слух, что храм подготовлен к взрыву. Однако Иосиф не побоялся войти в собор и возглавить богослужение.