25 июня 1843 г., во время богослужения в ковенском Александро-Невском соборе, из толпы поляков, присутствовавших в храме, в Иосифа была пущена стрела, упавшая к его ногам. 10 сентября 1845 г. Иосиф получил сообщение от столоначальника Виленского уездного суда И. Пейкерта о планирующемся на него покушении. Во всех случаях Иосиф просил власти не предавать фактам угроз огласку и не рассматривать их, т.к. полагал, что это помешает возрождению православия в крае. В 1845 г. группа польских помещиков сфабриковала дело некой М. Мечиславской, выдававшей себя за настоятельницу униатского женского монастыря. М. Мечиславская пыталась доказать, что она «много пострадала» от Иосифа за веру. Вскоре М. Мечиславская была нелегально переправлена в Рим, где получила покровительство папы и привлекла к себе внимание европейской прессы. Это дело, невзирая на явную ложь, не только усилило негативное отношение к Иосифу в России, но и подорвало его репутацию в Европе. Иосиф не получал поддержки со стороны виленских генерал-губернаторов Фёдора Яковлевича Мирковича, Ильи Гавриловича (?) Бибикова, Владимира Ивановича Назимова. Нападкам с разных сторон Иосиф противопоставил строгую последовательность своих действий. Он не оставлял без внимания ни одного случая проявления враждебности к воссоединённым и неуклонно добивался восстановления законного порядка. Для этого он обращался в правительственные инстанции и в католическое Высшее церковное управление в России. Благодаря твёрдому руководству Иосифа католическая миссия среди бывших униатов в начале 1850 гг. не принесла успехов. Полагая своё поприще как церковным, так и государственным, Иосиф наблюдал и за общественно-политической обстановкой в крае, которая в 1850 гг. становилась всё более неблагоприятной. Это дало ему повод 10 января 1855 г. обратиться к императору Николаю I через обер-прокурора Синода с конфиденциальным письмом. В нём Иосиф предупреждал государя о неблагонадёжности чиновников края, среди которых вопреки существовавшим после восстания 1830–1831 гг. запретам оказалось огромное число поляков, которые вели против России «подрывную деятельность». Согласно собранным Иосифом данным, среди чиновников различных ведомств в Виленской и Гродненской губерниях было 723 католика и только 140 православных. Отсюда Иосиф делал неутешительный вывод: «Православное население Виленской и Гродненской губерний, числом почти в семьсот тысяч народа, зависит почти совершенно от произвола Римлян, господствующих над оным посредством помещиков и посредством местных правительственных и судебных властей». Вскоре это секретное письмо перепечатал журнал «Колокол», что вызвало скандалы и травлю архиерея в польско-католических кругах. Александр Иванович Герцен называл Иосифа «во Христе православный митрополит Иосиф, во Иуде предатель, палач, заслуживший европейскую известность». В разглашении этого письма Иосиф заподозрил генерал-губернатора В.И. Назимова, что привело к ухудшению их отношений. Помимо трудов по охранению воссоединенной паствы от внешних нападок внимание Иосифа было направлено на благоустройство своей епархии и на преодоление пережитков унии среди духовенства и паствы. Он не искоренял местные привычки и особенности, отличавшие белорусов от великороссов, полагая главным единство исповедания и богослужебной практики.