Получив вызов, Иосиф, попрощавшись 28 мая с уманской паствой, выехал в Москву, но по дороге 4 июня был арестован в Киеве. Содержался во внутренней тюрьме МГБ в Москве, где находился в одной камере с епископом Мануилом (Лемешевским; впоследствии митрополит), затем переведён в тюрьму Ростова-на-Дону. Проходил по делу тайной иоаннитской общины в Азове, обвинялся в организации нелегального монастыря и в высказываниях «в духе неизбежности изменения в СССР политического строя». Решением Военного трибунала Северо-Кавказского военного округа от 11–19 февраля 1946 г. приговорён к десяти годам исправительно-трудовых лагерей. Как «особо опасный государственный преступник» был направлен в особый лагерь МВД близ Челябинска. В апреле 1948 г. переведён в Карагандинский исправительно-трудовой лагерь. 4 июня 1954 г., после окончания срока заключения, освобождён из лагеря и выслан этапом в посёлок Аккудук Кокчетавской области Казахстана под гласный надзор на вечное поселение. Ему было запрещено священнодействовать. В июле того же года обратился с просьбой о переводе в город Кокчетав, где у него была бы возможность посещать храм. Просьба была удовлетворена. Иосифа приютила в Кокчетаве многодетная казахская семья, которая жила в маленьком саманном домике. Посещал по воскресным и праздничным дням кокчетавский храм во имя архангела Михаила, где ему было запрещено служить и даже стоять на клиросе. Временно управлявший Алма-Атинской епархией Ташкентский епископ Ермоген (Голубев; впоследствии архиепископ), узнав о тяжёлом положении Иосифа, стал высылать ему посылки с продуктами, с одеждой и со служебными книгами. 9 декабря 1955 г. Иосиф получил от патриарха Алексия I разрешение на проведение богослужений в храме Кокчетава. Об этом епископ Ермоген сообщил уполномоченному Совета по делам РПЦ, но тот не выдал Иосифу разрешающую регистрационную справку. 6 апреля 1956 г. на основании приказа Генерального прокурора СССР Иосиф был освобождён от дальнейшего поднадзорного пребывания в ссылке без снятия судимости (полностью был реабилитирован уже посмертно, в 1992 г.). 1 июня 1956 г. назначен настоятелем Михаило-Архангельского храма Кокчетава. В июле того же года переведён в Петропавловск и назначен почётным настоятелем собора во имя св. апостолов Петра и Павла. 22 ноября того же года назначен епископом Петропавловским, викарием Алма-Атинской епархии. С 18 марта 1957 г. – правящий епископ выделенной из Алма-Атинской Петропавловской и Кустанайской епархии. 25 февраля 1958 г. возведён в сан архиепископа. 15 сентября 1960 г. стал правящим архиереем Алма-Атинской и Казахстанской епархии, с которой была объединена Петропавловская и Кустанайская епархия. Назначение Иосифа в Алма-Ату произошло в условиях конфликта внутри общины кафедрального собора во имя святителя Николая, что угрожало закрытием храма. Иосиф смог быстро успокоить волнения, завоевав искреннюю любовь своей паствы как исповедник и архипастырь св. жизни. Богослужения, совершаемые Иосифом, отличались благолепием и молитвенностью. Наставляя священников, он требовал от них в служении красоты и естественности. Был выдающимся проповедником: его проповеди отличались яркостью и глубокой проникновенностью, живым, поэтичным языком, всегда находили отклик у слушателей. Многие проповеди и поучения Иосифа после его смерти были опубликованы и переиздаются в настоящее время.