В ходе этой полемики книгу рассматривали вкупе с сочинениями иеросхимонаха Антония (Булатовича), такими как «Апология веры во Имя Божие», несмотря на то что еще в 1913 г. священник Павел Флоренский предлагал отделить оценку книги и личности Илариона (то, что он называл «Иларионовским вопросом») от оценки сочинений иеросхимонаха Антония: «Если о. Иоанн (Кронштадтский) и о. Иларион говорили духовное и по-духовному, то о. Антоний, желая оправдать себя и учение перед теми, перед коими надлежало хранить молчание, уже начал рационализацию, уже лишил Иларионовскую мысль, древнюю мысль, её священного покрова непонятности». Значительную часть книги «На горах Кавказа» составляют подборки цитат из творений отцов церкви, а также из сочинений русских духовных писателей XIX в. – Феофана Затворника, Игнатия (Брянчанинова), Иоанна Кронштадтского и др.; есть цитаты из «Догматического богословия» епископа Сильвестра (Малеванского), из «Сборника Киевской академии», а также из «Своего сборника», тетради, в которую Иларион записывал высказывания без указания авторов. Источники, которыми пользовался Иларион, по мнению исследователей, весьма разнородны, в них нет системы. Более того, очевидно, что при написании он не имел книг под рукой, а пользовался сделанными ранее выписками из них. Будучи посвящена Иисусовой молитве, книга «На горах Кавказа» не является последовательным и систематическим изложением этой темы. По мнению исследователей, она, скорее, представляет собой разрозненные записки автора на те или иные темы, связанные с теорией и практикой Иисусовой молитвы. Книга состоит из двух частей. Структура первой части достаточно своеобразна. Один пласт представляет собой основная сюжетная канва: рассказ о встрече автора со старцем Дисидерием, о беседах с ним, о его кончине. Другой пласт – учение старца о молитве Иисусовой. Ещё один структурный пласт – авторские вставки в рассказ старца, поясняющие или дополняющие его мысли. Самостоятельные структурные пласты составляют описания кавказской природы, которыми время от времени прерывается повествование, а также выписки из сочинений разных авторов, подкрепляющие излагаемое автором учение о молитве. Вторая часть книги не является продолжением первой: она содержит пересказ отдельных эпизодов евангельской истории. Подборка писем Илариона завершает книгу. Такая структура, несмотря на очевидную хаотичность, позволяет автору не только достаточно полно раскрыть основную тему книги, но и сделать само повествование разнообразным, увлекательным, динамичным. Секрет популярности книги среди монашествующих в большой степени объясняется именно этими особенностями её структуры. Не всё в книге Илариона одинаково ценно.