12 апреля 1925 г. был в числе подписавших акт о передаче высшей церковной власти Крутицкому митрополиту Петру (Полянскому). С апреля 1926 г. – епископ Суздальский, викарий Владимирской епархии. С 13 июля 1927 г. – епископ Шацкий, викарий Тамбовской епархии, но, согласно автобиографии, он только числился епископом Шацким, при этом проживал в Воткинске. С 27 февраля 1929 г. – епископ Уральский и Покровский. С августа 1930 г. – епископ Курганский, викарий Тобольской епархии. 23 октября 1931 г. арестован, заключён в свердловскую тюрьму. Проходил по следственному делу о деятельности «Союза богоспасающей России», создание которого приписывалось епископу Серафиму (Коровину). Приговорён к пяти годам исправительно-трудовых лагерей. С июля 1932 г. отбывал наказание в Ташкентском лагере на положении «вольнохожденца». Затем, как полагают исследователи, наказание было заменено ссылкой в город Бек-Буди (ныне Карши, Узбекистан), где он находился с 4 апреля 1933 г. по 30 октября 1936 г. С 12 декабря 1936 г. проживал в городе Казани. 16 октября 1937 г. был арестован по обвинению в «контрреволюционной агитации». 29 ноября 1937 г. постановлением Особой тройки при НКВД по Татарской АССР приговорён к десяти годам исправительно-трудовых лагерей. Отбывал наказание в Северо-Уральском исправительно-трудовом лагере. В связи со смягчением политики Советского государства в отношении церкви в годы Великой Отечественной войны Иоанн был в числе пяти епископов, освобождённых из лагерей. 23 октября 1942 г. принято постановление о его досрочном освобождении, которое состоялось 9 февраля 1943 г. С 5 по 30 апреля находился на лечении в больнице в Казани. Затем жил в селе Верхний Услон Верхнеуслонского района Татарской АССР, обратился к Патриаршему Местоблюстителю митрополиту Сергию (Страгородскому; с сентября 1943 г. – Патриарх Московский и всея Руси) с просьбой о назначении на службу. 21 июня 1943 г. определён правящим архиереем Сарапульской епархии. 8 июля назначен управляющим приходами Удмуртской АССР. 15 июля возведён в сан архиепископа. Обратился к Патриаршему Местоблюстителю с просьбой о перемещении архиерейской кафедры в Ижевск в связи с более удобным расположением города относительно православных приходов. Иоанн был участником архиерейского Собора РПЦ 8 сентября 1943 г. 19 ноября того же года переведён в Ижевск с изменением титула – «архиепископ Ижевский и Удмуртский».