К концу XIX – началу XX в. скит апостола Андрея обладал богатейшей библиотекой, основу которой составили книги, привезённые во второй половине XIX в. из России (некоторые печатные и рукописные славянские и греческие богослужебные книги сохранились со времён патриарха Серафима). По сведениям профессора Алексея Афанасьевича Дмитриевского (1856–1929 гг.), в библиотеке скита апостола Андрея хранилось более 200 рукописей (древнейшие греческие Евангелия VIII–IX вв.), часть которых была пожертвована скиту Муравьёвым и Севастьяновым (последний также завещал скиту часть собрания фотоснимков, калек и копий греческих рукописей, сделанных им во время путешествий по афонским монастырям, а также коллекцию древних икон афонского письма; коллекции хранились в музее, располагавшемся в крипте Андреевского собора). Систематизацией книжного собрания скита занимались Николай Фомич Красносельцев (1845–1898 гг.) и Василий Михайлович Истрин (1865–1937 гг.). Весной 1887 г. часть библиотеки сгорела во время пожара; в 1897 г. она разместилась в каменном корпусе, выстроенном на западной стороне скита. В 1958 г. в скиту случился пожар, продолжавшийся три дня и уничтоживший бо́льшую часть библиотеки – значительное число рукописей, 20 тыс. печатных изданий и некоторые святыни. В начале XX в. среди русских монахов на Афоне возникло движение имяславцев, главным его апологетом с начала 1912 г. являлся староста скита апостола Андрея иеросхимонах Антоний (Булатович). В сентябре 1912 г. Константинопольский патриарх Иоаким III направил настоятелю русского Пантелеимонова монастыря послание, в котором называл новое учение «бессмысленным и богохульным» и советовал его сторонникам «отстать от душевредного заблуждения и перестать спорить и толковать о вещах, которых не знают». На основании этого послания настоятель скита апостола Андрея игумен Иероним подверг запрету в священнослужении и причащении иеросхимонаха Антония, отказавшегося сжечь один из главных своих трудов в защиту имяславия – «Апологию веры в Божественность имён Божиих и имени “Иисус” (Против имяборствующих)»; настоятель также попытался изгнать из скита сторонников Антония. В начале 1913 г. 300 монахов скита апостола Андрея составили обращение в Святейший Синод о смещении игумена Иеронима, на место которого единогласно был избран архимандрит Давид, много лет подвизавшийся в затворе. Ватопедский монастырь не признал выборы действительными, потребовал удаления из скита иеросхимонаха Антония, а приверженцам имяславия пригрозил отлучением от церкви и изгнанием со Святой горы. Действия Ватопеда привели к обратной реакции со стороны насельников скита апостола Андрея, и 18 противников имяславия во главе с игуменом Иеронимом были изгнаны из скита. Скит апостола Андрея был окружён греческими солдатами. 20 января 1913 г. на Афон прибыл представитель российского посольства вице-консул В.С. Щербина, который потребовал восстановления игумена Иеронима в должности настоятеля. 27 января игумен Пантелеимонова монастыря Мисаил, до сего времени выступавший против имяславцев, неожиданно перешёл на их сторону; иеросхимонах Антоний был делегирован братией Пантелеимонова монастыря и скита апостола Андрея в Санкт-Петербург для защиты имяславия в Святейшем Синоде РПЦ.