Согласно «Повести о переписке царя Алексея с Николаем патриархом», кастамонитский игумен участвовал в посольстве монахов, отправленном к Алексею I Комнину по поводу изгнания с Афона влахов, и якобы приходился родственником императору (по легендарной истории Кастамонита, это был Иларион, ставший впоследствии протом Святой Горы). На протяжении XII – первой половины XIII вв. упоминания Кастамонита отсутствуют, что, по мнению исследователей, свидетельствует о скромной роли монастыря, расположенного вдали от Кареи и не имевшего собственного представителя на великом собрании. В 1262 г. Кастамонит вновь появляется в акте, сохранившемся в монастыре Дохиар, в связи с ещё одним межевым спором из-за Каллиграфу. Исследователи предполагают, что в 1278 или 1276 г. Кастамонит был разорён сторонниками Лионской унии. В августе 1287 г. кастамонитский иеромонах Варфоломей подписал, по мнению исследователей, в качестве игумена Кастамонита, акт прота Иоанна. Тот же Варфоломей присутствовал как игумен Кастамонита на собраниях в ноябре 1294, в 1296 и в ноябре 1310 гг. Преемником этого игумена, управлявшего Кастамонитом больше 23 лет, по мнению исследователей, был игумен Матфей, упомянутый в документе, датируемом 23 июня 1311 г. Следующим игуменом стал Виссарион, подписавший акты от 1313/1314 и мая 1316 гг. В хиландарском акте 1338 г. фигурирует игумен Кастамонита Варлаам, однако аутентичность этого документа вызывает у исследователей сомнения. Исследователи не считают подлинными акты от декабря 1347 г. и апреля 1348 гг., содержащие имя игумена Паисия. Тем не менее, у исследоватеелй есть основания утверждать, что ещё до середины XIV в. Кастамонит получил статус и привилегии императорского монастыря. По мнению исследователей, одновременно с усилением позиций монастыря увеличивались и его владения. Важнейшим источником сведений об экономическом состоянии Кастамонита для этого периода является неподлинный хрисовул императора Иоанна V Палеолога (1341–1391 гг.), содержание которого, по мнению Н. Икономидиса, основывается на настоящем указе императора. Исследователи полагают, что между октябрём 1362 г. и 15 июня 1363 г. Кастамонит присоединил обитель Антония Великого (Неакиту), известную с X в. Приобретение Неакиту было подтверждено утраченным хрисовулом императора Иоанна V Палеолога. Согласно неподлинному документу, Неакиту был передан Кастамониту «владычицей Сербии». В легендарной истории Кастамонита сербская царица названа Анной (исследователи полагают, что подразумевалась дочь валашского воеводы Александра, в 1360 г. вышедшая замуж за сербского короля Стефана V Уроша), а в варианте монаха Досифея – Анной Филантропиной (не известной исследователям по другим источникам). Исследователи предполагают, что обитель Неакиту была приобретена в 1362/1363 г. и передана Кастамониту Еленой, вдовой Стефана IV Душана, управлявшей Серрами и Афоном в 1355–1365 гг. От Неакиту не сохранилось каких-либо существенных следов, уже в XVII в. обитель исследователи готовы считать исчезнувшей. Она была расположена к северу от Кастамонита, от которого её отделяло русло реки – возможно, на том месте, где в настоящее время находится домик с часовней св. Андрея.