Постановлением Заместителя Патриаршего Местоблюстителя митрополита Сергия и Временного при нём Священного Синода от 23 декабря 1927 г. «о раздорнической деятельности управляющего Свердловской епархией епископа Шадринского Виктора» он был уволен от управления Шадринским викариатством и Свердловской епархией и запрещён в священнослужении. Виктор прещениям не подчинился. Живя в Глазове, продолжал управлять отделившимися от митрополита Сергия приходами Вятской и Воткинской епархий, признавая главой церкви находившегося в ссылке митрополита Петра (Полянского). 29 декабря Виктор отправил третье письмо митрополиту Сергию, к которому приложил постановление духовного управления Воткинской епископии о прекращении молитвенно-канонического общения с митрополитом Сергием и единомышленными ему епископами впредь до их отречения от «Декларации». В начале 1928 г. Виктор завязал переписку с ленинградскими иосифлянами. В марте составил резкое «Послание к пастырям», в котором критиковал митрополита Сергия за увольнение с кафедр арестованных и сосланных архиереев. 29 марта 1928 г. на заседании Синода вновь был рассмотрен вопрос об отделившихся от митрополита Сергия епископах. В решении Синода говорилось, что Виктор и другие архиереи, «как отделившиеся без достаточных причин... подлежат церковному суду и должному наказанию». Решением Синода 11 апреля 1928 г. по «делу о нестроениях в Ленинградской, Ярославской, Воткинской и Воронежской епархиях» определение от 23 декабря 1927 г. было оставлено в силе. 4 апреля 1928 г. Виктор был арестован в Глазове, помещён в тюрьму в Вятке, затем переведён в Бутырскую тюрьму в Москве. Следствие закончилось в мае, архиерея признали виновным в «антисоветской агитации», сочинении и распространении «письма с просьбой защитить каноны Русской Православной Церкви... терпеть гонения от новой власти, как это делали митрополит Филипп или Иван, так называемый Креститель». 18 мая 1928 г. особое совещание при Коллегии ОГПУ приговорило Виктора к трём годам заключения в концлагере. Он отбывал наказание в Соловецком лагере особого назначения (СЛОН), работал бухгалтером на канатной фабрике. Перед отправкой в лагерь Виктор передал свою паству иосифлянскому епископу Димитрию (Любимову). Во второй половине 1928 г. отправил из заключения послание пастве с резким осуждением линии митрополита Сергия. В 1929 г. написал прошение о досрочном освобождении, в просьбе было отказано. Весной 1930 г. его перевели с Соловецких островов на материк, в лагерную командировку Майгуба, в начале 1931 г. – в командировку «Новая биржа».