1 июля 1926 г., 4 и 28 февраля 1928 г. направлял в Коллегию ОГПУ, прокурору П.А. Красикову и в Президиум ВЦИК СССР заявления с просьбой о разрешении возвратиться в Москву по состоянию здоровья (туберкулёз, миокардит, ревматизм и другие болезни). Ходатайствовал перед П.А. Красиковым, чтобы «посвятить остаток дней своих научным исследованиям, которым отдал тридцать пять лет своей жизни», в частности, трудам по истории права. 13 апреля 1928 г. решением особого совещания при Коллегии ОГПУ И.М. Громогласову запретили после окончания ссылки проживать в Москве, а также в шести крупных городах. В мае 1928 г. был привезён на операцию в больницу Бутырской тюрьмы. В 1928 г. после освобождения жил в городе Твери (1931–1990 гг. – Калинин). Служил в храме в честь иконы Божьей Матери «Неопалимая Купина» (не сохранилась) вместе с Тверским архиепископом Фаддеем (Успенским), с которым был знаком со времени учебы в Московской духовной академии, и с Николаем Масловым. В ночь со 2 на 3 ноября 1937 г. после обыска И.М. Громогласов был арестован. При обыске изъято всё имущество: два наперсных креста с украшениями, облачения, незаконченные заметки по истории церковного права и др. Обвинён в участии в «контрреволюционной фашистско-монархической организации», возглавляемой архиепископом Фаддеем, а также в подготовке диверсионных актов и контрреволюционной агитации «за объединение реакционных сил духовенства – тихоновцев… для активной борьбы с советской властью повстанческого характера» через основанный литературный богословско-философский кружок. 29 ноября 1937 г. состоялся последний допрос. И.М. Громогласов виновным себя не признал. 2 декабря того же года Особой тройкой при УНКВД по Калининской области приговорён к расстрелу. 4 декабря 1937 г. приговор приведён в исполнение. Погребён в общей могиле на Волынском кладбище города Твери. 19 сентября 1999 г. Тверским и Кашинским архиепископом Виктором (Олейником) канонизирован как местночтимый святой Тверской епархии. Прославлен для общецерковного почитания Архиерейским юбилейным Собором РПЦ 2000 г. Основные работы И.М. Громогласова были посвящены вопросам истории старообрядчества и сектантства, каноническому (прежде всего, брачному) праву. В общей сложности ему принадлежат до 70 статей (в том числе в энциклопедиях), рецензии и очерки. Сохранился также ряд его стихотворений послереволюционного периода.