С середины XI в. в результате нашествия на Закавказье турок-сельджуков (в 1064 г. в Грузию вторгся султан Алп-Арслан Мухаммед ибн Дауд) влияние Грузии на Ближнем Востоке снизилось, что сказалось и на Иверском монастыре. Преемник Баграта IV грузинский царь Георгий II (1072–1089 гг.) был вынужден платить сельджукам дань, он и его преемники не могли заботиться об Иверском монастыре, который теперь поддерживался лишь грузинскими и частично греческими вельможами из Константинополя и других городов Византии, чьи имена были внесены в «Книгу агап». В царствование византийского императора Алексея I Комнина началась постепенная потеря интереса к Иверскому монастырю и со стороны византийского императорского двора, поскольку монастырь уже не мог быть связующим звеном между Грузией и Византией. Строительные работы в Иверском монастыре при настоятельстве Иоанна II (Букаисдзе; 1085–1104 гг.), когда была построена «хорошая башня ограды», – свидетельство временного благосостояния Иверского монастыря. В 1074 г. монастырь был вынужден взять взаймы 600 модиев зерна, яровых и ячменя, которые ему «отпустил» (т.е. отдал безвозмездно) епископ Сланицы Лев (в «Книге агап» был установлен день его поминовения 1 декабря). Немаловажное значение, по мнению исследователей, имеет тот факт, что в XII в. (как и в X в.) Иверский монастырь содержал флот: во время настоятельства Иоанна II грек Никон выстроил для монастыря судно водоизмещением 400 модиев (в «Книге агап» 4 декабря установлен день поминовения его и его родителей Анны и Константина). В апреле 1081 г. Иверский монастырь обвинили во вторжении в окрестности Сисика: на территории Протата и Сараварского монастыря, а также монастырей Влитзида, Полита и Ксиропотам. Прот Павел и настоятели монастырей постановили, что законные права Иверского монастыря не распространяются на земли по западному берегу протекающей в Сисике реки, принадлежащие Протату и четырём монастырям. Общий тон документа и оскорбительные эпитеты, употреблённые по отношению к монахам Иверского монастыря, свидетельствуют о том, что Иверский монастырь потерял благосклонность императора. Монастырь стал терять свои владения. Так, акт от 1085 г. составлен по поводу конфликтной ситуации между Иверским монастырём и Великой Лаврой в связи с владением деревней Камена на полуострове Халкидики. К 1089 г. монастырь потерял 75 тыс. модиев земли, лишь 30 тыс. из которых смог вернуть в дальнейшем. Новое межевание зафиксировано документом об установлении границ (март 1101 г.), подписанным экономом севастократора Исаака Сгуром; здесь же содержится запись о том, что севастократор Исаак пожертвовал Иверскому монастырю сенокос в 3,2 тыс. модиев в Арсеникии на полуострове Халкидики.