Около 1800 г. пещеры в Воловом овраге посетила благочестивая девица Дария Дмитриевна Кутукова (см. Дария (Кутукова), преподобная Сезёновская) из села Пикова Раненбургского уезда Рязанской губернии, впоследствии основательница Казанского монастыря в селе Сезёнове Лебедянского уезда Тамбовской губернии. Иларион стал её духовным руководителем, общался также с учеником Тихона Задонского иеросхимонахом Агапитом (Болховитиновым; ум. 17 сентября 1825 г.), старцем задонского Богородицкого монастыря (см. Задонский в честь Рождества Пресвятой Богородицы монастырь). В 1801 г. Иларион был арестован, пещеры закрыты. По утверждению историка священника Ивана Васильевича Добролюбова, в фонде архива Рязанской консистории хранилось дело, согласно которому в мае 1801 г. данковский протопоп доносил епархиальному начальству: «...Близ Алексеевского, Головинщина тож, находятся пустынники и живут в построенных ими кельях, почему консистория предписала… пустынников разослать по своим местам, а келии уничтожить, о чём и сообщить в светскую команду». Сначала Илариона заключили в острог, затем наложили на него шестимесячную епитимию (с весны по осень) в раненбургском Петропавловском монастыре. Настоятель иеромонах Паисий и братия встретили Илариона дружелюбно, т.к. слава о его добродетельной жизни утвердилась прочно. После окончания епитимии Иларион вернулся в овраги, обнаружил, что разрушены и пещеры, и лесная келья близ села Каликина. Два месяца жил в доме некоего крестьянина в селе, затем – в церковной караулке в селе Головинщине. Около 1807 г. к Илариону обратился помещик соседнего села Карповка князь Михаил Александрович Долгоруков с просьбой помолиться об избавлении от засухи на полях. В тот же день пошёл дождь. В благодарность М.А. Долгоруков построил для Илариона  келью у церкви в честь Иверской иконы Божьей Матери. Княгиня Долгорукова собственноручно обила сукном все стены кельи. Старец жил здесь несколько лет. К этому времени относится предсказание Илариона об исходе войны 1812 г. Многие помещики, соседи князя М.А. Долгорукова, приезжали к Илариону за советом: куда уезжать от надвигающихся полчищ Наполеона. Иларион отвечал: «...Супостат посрамится», «...пусть он взял Москву – на деревне остановится». В Карповке Илариона часто посещала Д.Д. Кутукова, подобно своему наставнику переходившая с места на место. Для неё была выстроена келья близ церкви в селе Головинщине, где девица по благословению Илариона занималась выпеканием просфор для окрестных храмов. Также Иларион тесно общался с другим подвижником, юродивым Иоанном Сезёновским, помогал ему в устроении храма, а впоследствии и Сезёновского женского монастыря, пожертвовав сначала 5 тыс. руб. (получил от помещика Хрущёва), а затем 100 тыс. руб. (получил от помещика Звягина). Окормлял многих насельниц Сезёновского Иоанно-Казанского девичьего монастыря. После смерти М.А. Долгорукова управляющий имением и дворовые писали в Москву его наследнику, молодому князю Долгорукову, доносы на Илариона, настраивали его против подвижника. Когда же молодой князь встретился с Иларионом, то понял нелепость клеветы, просил молитв старца и, уезжая из имения, приказал людям оберегать его от неприятностей. Однако недоброжелатели ещё больше стали досаждать старцу. С 1819 г. Иларион некоторое время жил у различных лиц, пока данковский помещик В.Н. Меньшиков не устроил для Илариона уединённую келью в глубоком овраге и не обеспечил всем необходимым.