24 ноября 1922 г. Иларион был арестован Архангельским губотделом ГПУ по обвинению в переписке с «реакционным духовенством». 15 декабря освобождён «за отсутствием уличающего материала». 13 июня 1923 г. в квартире Илариона был произведён обыск, однако нового ареста не последовало. В конце июня срок ссылки закончился, и он вернулся в Москву. 5 июля, в канун праздника Владимирской иконы Божьей Матери, Иларион освятил великим чином прежде захваченный обновленцами собор Сретенского монастыря. 6 июля было объявлено о возведении Илариона патриархом Тихоном в сан архиепископа. Он вновь стал ближайшим помощником патриарха, членом организованного им Временного Священного Синода; участвовал в составлении нескольких патриарших воззваний. Был фактически управляющим Московской епархией, его имя возносилось за богослужениями в храмах Московской епархии вслед за именем патриарха. Главным поручением, данным в то время Тихоном Илариону, было преодоление в Московской епархии последствий обновленческого раскола. Иларион разработал чин покаяния бывших обновленцев, несколько сот из них принял в лоно церкви через исповедь. Летом 1923 г. влияние обновленчества стало стремительно падать: нередко обновленцы становились жертвами стихийного протеста со стороны верующих. 5 августа Иларион обратился к московской пастве с посланием, в котором призвал верующих избегать насилия при спорах с обновленцами. Боролся с обновленцами яркими проповедями, проявил себя блестящим полемистом, неоднократно побеждал самых известных большевистских и обновленческих ораторов во время публичных диспутов. Пользовался большим авторитетом среди верующих, за ум и твёрдость в вере другие архиереи называли его «Иларионом Большим». 26 августа 1923 г., после того как глава обновленческого синода «митрополит» Евдоким (Мещерский, бывший архиепископ Нижегородский) заявил о желании «примирения», Иларион принял участие в переговорах с обновленцами об условиях их возвращения в патриаршую церковь. Из-за провокационного поведения лидеров обновленцев 29 августа решением архиерейского совещания в Донском монастыре переговоры с обновленческим синодом были прекращены. В результате активных действий Илариона в патриаршую церковь из обновленчества вернулось подавляющее большинство московских приходов. К осени 1923 г., по данным ГПУ, у обновленцев в Москве оставалось всего 30 храмов и 10–20% приходов в Московской губернии. Представляя патриарха, Иларион вёл переговоры с начальником шестого отделения Секретного отдела ГПУ Евгением Александровичем Тучковым, добивался смягчения политики государства в отношении церкви. Успешная деятельность Илариона и рост его авторитета среди верующих вызывали обеспокоенность властей. 27 октября после допроса в ГПУ у Илариона была взята подписка о невыезде из Москвы.