16 сентября 1927 г. постановлением особого совещания при Судебной коллегии ОГПУ после освобождения из лагеря отправлен на три года в административную ссылку в Воронеж. Получил место священника в Алексиевской церкви закрытого воронежского в честь Покрова Пресвятой Богородицы женского монастыря, где продолжала существовать женская монашеская община. Через некоторое время был назначен настоятелем храма и духовником общины, стал одним из благочинных Воронежской епархии. Быстро приобрёл авторитет у монахинь и прихожан. Его усилиями был организован сбор и пересылка средств для заключённого Воронежского архиепископа Петра (Зверева) и других соловецких узников. Не принял «Декларацию» 1927 г. Заместителя Патриаршего Местоблюстителя митрополита Сергия (Страгородского; впоследствии Патриарх Московский и всея Руси). 22 января 1928 г. вместе с управляющим Воронежской епархией Козловским епископом Алексием (Буем) отделился от митрополита Сергия и присоединился к сторонникам митрополита Иосифа (Петровых). В мае 1928 г. назначен епископом Алексием (Буем) помощником епархиального благочинного. С марта 1929 г. после ареста епископа Алексия исполнял должность епархиального благочинного. Активной деятельностью И.Г. Стеблин-Каменский вызывал недовольство властей, взявших его под наблюдение. 1 мая 1929 г. была проведена операция по окончательному превращению Покровского монастыря в рабочий посёлок. Храмы были закрыты, монахинь выселяли из келий. В это время скончалась игуменья монашеской общины, что связывалось верующими с гонениями на церковь. 4 мая, во время похорон игуменьи, И.Г. Стеблин-Каменский призвал оставшихся монахинь и прихожан монастырских храмов держаться вместе. 19 мая был арестован, помещён в воронежскую тюрьму. Обвинялся в том, что «объединил вокруг себя контрреволюционный элемент», а также в «распространении антисоветских провокационных слухов». Отверг все предъявленные ему обвинения: «После смерти игумении ни лично, ни через кого-либо никаких слухов по городу не распускал». Заявил следователю, что «осуждал всякое выступление против гражданской власти..., другого оружия не знаю, кроме креста». При этом не скрывал, что отрицательно относится к мероприятиям советской власти против церкви, считает неправильным воспитание детей в антирелигиозном духе. На допросе показал, что, как пастырь, обязан «быть образцом для верных и ограждать их от тьмы неверия». И.Г. Стеблин-Каменский не скрывал своего убеждения, что «не только материализм, но и сами врата адовы не одолеют Церкви Христовой». 16 августа 1929 г. за «деятельность, подрывающую авторитет и мощь советской власти» И.Г. Стеблин-Каменский был приговорён особым совещанием при Коллегии ОГПУ к трём годам лагерей. 6 октября 1929 г. прибыл во второе отделение Соловецкого лагеря. 24 февраля 1930 г. взят под стражу, привлечён к новому следствию по делу «Церковно-монархической организации “буевцы”», по которому было арестовано около 500 человек. 5 мая 1930 г. доставлен в Воронеж. И.Г. Стеблина-Каменского обвиняли в «распространении церковно-монархических листовок и брошюр, агитации против мероприятий советской власти в области коллективизации и индустриализации». Категорически отказался признать себя виновным. 28 июля 1930 г. приговорён Коллегией ОГПУ к высшей мере наказания. Был расстрелян вместе с другими осуждёнными и похоронен в окрестностях Воронежа. Прославлен архиерейским юбилейным Собором РПЦ 2000 г.