В пасхальном послании 1946 г. Иосиф вместе с епископами Бачским Иринеем (Чиричем), Тимокским Емилианом (Пиперковичем) и Нишским Иоанном (Иличем) критиковал принятые коммунистическими властями законы, исключившие вероучение из школьных программ и упразднившие юридическую силу церковного брака, и высказался против проведения антирелигиозной кампании. Лидер Югославии Иосиф Броз Тито негативно относился к деятельности Иосифа (Цвийовича), представители властей неоднократно советовали сербским иерархам отправить его на покой. В 1948 г., по сведениям Посольства США в Белграде, власти пытались обвинить Иосифа в шпионаже, до судебного процесса дело не дошло, но две недели он провёл под строгим домашним арестом. 22 июня 1950 г. состоялось открытие архиерейского Собора СПЦ, созванного после смерти патриарха Гавриила для избрания нового предстоятеля. Иосиф должен был быть председателем и возможным кандидатом на патриарший престол. Но вместе с Загребским митрополитом Дамаскином (Грданичким) Иосиф был срочно вызван в окружной суд Белграда якобы для участия в качестве свидетелей в судебном процессе над протоиереем Миливоем Црвчанином. Заседание не состоялось из-за неявки обвиняемого, а Иосиф из здания суда был увезён сотрудниками органов сербской государственной безопасности в неизвестном направлении. По запросу Синода 24 июня председатель Комиссии по религиозным вопросам ответил, что Белградский суд выдвинул против Иосифа обвинение, и он находится в монастыре Жича. 29 июня члены архиерейского Собора выразили сожаление по поводу ареста Иосифа и отсутствия информации о его местопребывании и назначили временным администратором Скопской епархии Злетовско-Струмицкого епископа Викентия (Проданова), который 1 июля был избран Сербским патриархом. Новый патриарх неоднократно просил власти освободить Иосифа: во время личной встречи с И.Б. Тито 25 сентября 1950 г., в специальных синодальных посланиях в октябре 1950 г. и от 9 июня 1951 г., во время встречи в ноябре того же года с министром внутренних дел Александром Ранковичем. Из монастыря Жича 6 января 1951 г. Иосиф был перевезён в монастырь Любостиня и 20 ноября 1951 г. освобождён. Документы о судебном процессе над ним не сохранились. Власти не позволили ему вернуться на Скопскую кафедру, и он был назначен администратором Жичской епархии, которой управлял 18 месяцев. В конце 1952 г. по состоянию здоровья он был перевезён в белградскую больницу. С 9 мая 1953 г. Иосиф жил во Введенском женском монастыре в Белграде, где скончался и 5 июля 1957 г. был похоронен. В память о нём при построенной им церкви в родном селе Дрежник открыт музей. Иосиф входил в состав делегаций СПЦ, посетивших Москву для участия в интронизации Патриарха Московского и всея Руси Алексия I (4 февраля 1945 г.) и в совещании предстоятелей и представителей автокефальных православных церквей (8–17 июля 1948 г.). Содействовал открытию в церкви Святой Троицы подворья РПЦ в Белграде (апрель 1945 г.) и передаче Мукачевской епархии в ведение РПЦ (октябрь 1945 г.).