Архиерей приехал в село 26 февраля 1922 г., освятил церковь и сказал проповедь о каноническом устройстве церковной жизни на Украине. В тот же день он и сопровождавшее его духовенство были арестованы за антисоветскую пропаганду, освобождены 28 февраля 1922 г. В конце 1922 г. после освобождения из тюрьмы Пимен (Пегов) стал идейным вдохновителем обновленчества на Подолии. Подольским епископом был назначен Амвросий (Полянский), вместе с Валерианом призывавший Пимена (Пегова) к покаянию. Президиум обновленческого Всеукраинского высшего церковного управления (ВУВЦУ) 11 июня 1923 г. постановил осуществить «очищение всего состава своего духовенства от контрреволюционного и вредного для спокойствия общества элемента», в связи чем «уволить с прежних должностей с назначением им местопребывания вне пределов Украины» епископа Амвросия и Валериана. Заместитель председателя ВУВЦУ Валериан Белоликов и Пимен (Пегов) направили в Подольский губисполком записку с требованием удаления вышеназванных архиереев с Украины как непримиримых врагов советской власти. В конце июня Валериан был арестован в Проскурове, обвинён в контрреволюционной деятельности, заключён в следственный изолятор. Однако воспользоваться заточением епископов в тюрьму представители ВУВЦУ не смогли. Намеченный на август 1923 г. обновленческий съезд благочинных Проскуровского и других уездов не состоялся из-за неприятия духовенством программы, выдвигавшейся Пименом (Пеговым). Патриарх Тихон оставил такую запись на прошениях, информирующих его о состоянии дел в Проскуровском викариатстве: «5 сентября 1923. Проскуров, как и Летичев, по-прежнему остаётся в церковном отношении с Преосвященным Валерианом. Утешительно, что духовная связь его с паствою не порывается и при вынужденном отделении его оттуда. Бог да укрепит и благословит союз взаимной любви их. Патриарх Тихон». После многочисленных обращений паствы Подольской епархии в органы центральной власти УССР, РСФСР и СССР с требованием освободить епископа Амвросия и Валериана Верховный суд СССР признал приговор в отношении этих епископов неправомочным, и архиереи вышли на свободу, но не смогли вернуться на прежнее место служения. Вскоре епископ Амвросий возглавил Орловскую епархию, Валериан с 9 августа 1923 г. жил в московском Даниловом монастыре.