Из дальнейшего рассказа старца Дисидерия выясняется, что в молодости он учился в духовной семинарии, но в результате обучения не только не приблизился к церкви, но, напротив, совершенно отошёл от религиозной жизни: не верил в Бога, смеялся над Евангелием, не ходил в церковь, не приобщался Святых Христовых Таин, пьянствовал, буйствовал. Такая жизнь продолжалась, пока Дисидерия не постигла тяжёлая, не поддававшаяся лечению болезнь, которая надолго приковала его к постели. Лёжа на одре болезни, он пересмотрел свою жизнь и вернулся к Богу; после выздоровления, «промедлив» ещё два года в миру, на 23-м году жизни поступил в монастырь. Проведя многие годы в монастыре, Дисидерий затем ушёл в горы Кавказа, где жил в одиночестве. Там он и встретился с Иларионом. Упоминаний о том, что Дисидерий провёл какое-то время на Афоне, в книге «На горах Кавказа» не содержится. Иларион не покидал Дисидерия до самой его кончины. После смерти Дисидерия продолжал путешествовать по Кавказу. В течение долгого времени он жил у реки Гоначхир (в районе современного посёлка Тиберда). В 1899 г. Иларион основал Покровскую женскую общину в местности Тёмные Буки на Маркотхском хребте Кавказских гор (между Анапой и Новороссийском), в 1904 г. преобразованную в монастырь. В Тёмных Буках Иларион жил в двухкомнатной рублёной келье. Рядом с ним проживали его немногочисленные ученики. Несколько раз церковные власти возвращали Илариона в Новоафонский монастырь, к которому он был приписан, но он и его сподвижники вновь уходили в горы. Местная светская власть не жаловала кавказских пустынников, так что Илариону пришлось в 1907 г. обратиться в Святейший Синод с просьбой «о содействии к прекращению предпринятого местными властями выселения из кавказских лесов». В ответ на запрос обер-прокурора Синода епископ Ставропольский объяснил, что Иларион, монах Свято-Троицкого монастыря Сухумской епархии Гавриил, два бывших послушника Зеленчукской пустыни и несколько крестьян самовольно поселились в лесных казённых дачах Баталпашинского отдела Кубанской области «с целью образовать пустынножительную общину с особым аскетическим уставом», однако епархиальные власти отклонили их ходатайство о её учреждении. Устав этой обители сохранился в архиве священника Павла Александровича Флоренского. В том же архиве есть письмо Илариона настоятелю Зосимовой пустыни архимандриту Герману, датированное 20 мая 1911 г., с просьбой «походатайствовать пред Начальством – духовным и светским – о кровных нуждах Кавказских пустынножителей». Согласно этому письму, главной необходимостью для кавказских пустынников являлась земля, которую, «по невозможности купить в казне, нужно арендовать». Письмо это было передано настоятелю Зосимовой пустыни, однако оставлено без последствий.