Первой заботой Иоанна VIII Ксифиллина на посту патриарха стал вопрос о ересях на восточных границах империи. Он немедленно осудил и отправил в изгнание на гору Ганос племянника патриарха Афанасия, яковитского епископа Митилены Игнатия, насаждавшего монофизитство, а в 1066 г. объявил о церковном союзе Армении и Константинополя, целью которого было укрепление позиций империи на разоряемых турками восточных рубежах. По отношению к яковитам, не обладавшим особым военно-политическим влиянием, византийцы не стеснялись применять полицейские меры, с армянами же были дипломатами. Так, незадолго до восшествия Иоанна VIII Ксифиллина на престол патриарх Сирийской яковитской церкви Афанасий и группа епископов и клириков были вызваны в Константинополь и после опроса о вере отправлены в ссылку во Фракию (все они получили право вернуться на родину в 1067 г., после смерти императора Константина X Дуки). Около 1066 г. император Константин и патриарх Иоанн VIII Ксифиллин провели диспут о вере с представителями Армянской апостольской церкви и даже подготовили договор о единстве веры, который хранился в ведомстве Великой церкви, но так и не был подписан армянским католикосом. По свидетельствам современников, Иоанн VIII Ксифиллин уделял большое внимание церковной службе, служил сам почти ежедневно, а не только по воскресным и праздничным дням. Чрезвычайно скромный в быту, он помогал бедным и поддерживал благолепие храмов, перед императорами выступал как строгий защитник справедливости и законов. Так, около 1064–1066 гг. правитель Лариссы Никулица Дельфин неоднократно сообщал императору Константину X Дуке о готовящемся мятеже. Подняв восстание, заговорщики призвали Никулицу возглавить их. Тот согласился и написал очередное сообщение императору, объясняя свой поступок желанием сохранить контроль над ситуацией, и если император согласится снизить недавно повышенные налоги и не будет преследовать участников мятежа, то он усмирит восстание. Император прислал грамоту, и мятежники успокоились. Когда Никулица прибыл в Константинополь, император обратился к Иоанну VIII Ксифиллину с вопросом: «Возможно ли признать незаконными договор и данную императору клятву?» Однако Иоанн VIII Ксифиллин подтвердил договор и даровал Никулице и всем мятежникам церковное прощение (вероятно, патриарх часто был вынужден поступаться принципами ради блага государства). Также Иоанн VIII Ксифиллин деятельно входил в дела престолонаследия. В частности, участвовал в вопросе престолонаследия после кончины императора Константина X Дуки. Так, незадолго до 21 мая 1067 г. он, по просьбе умирающего императора, принял клятву императрицы Евдокии Макремволитиссы в том, что она после смерти супруга не выйдет вновь замуж, чтобы трон занял один из сыновей Константина X Дуки. Патриарх пригрозил Евдокии анафемой в случае клятвопреступления и таким образом способствовал сосредоточению власти в руках Михаила Псёлла и кесаря Иоанна Дуки, брата умершего императора. Однако спустя несколько месяцев опасность оживления деятельности турок на восточных границах империи вынудила патриарха, вопреки желаниям Псёлла и кесаря, освободить Евдокию от клятвы и разрешить ей вступить в брак с Романом IV Диогеном (1067–1071 гг.), который казался способным справиться с нашествием варваров. Впоследствии патриарх дал разрешение на брак Константина Дуки, сына императора Михаила Дуки, и Елены, дочери норманнского герцога Роберта Гвискара (1016–1085 гг.), чтобы попытаться устранить нависшую над западными владениями империи в Италии угрозу норманнского завоевания. Иоанн VIII Ксифиллин издал ряд постановлений по вопросам брака, уточнив ранее существовавшие нормы. При нём епархия Назианза в Каппадокии была возведена в ранг митрополии. Иоанну VIII Ксифиллину принадлежат «Житие и описание чудес мученика Евгения Трапезундского», «Похвальное слово св. Павлу Исповеднику», «Торжество Православия», «Крещение», об отцах Вселенских соборов, гомилии на Крестовоздвижение и др. Ему также могли принадлежать несколько юридических сочинений, созданных в Византии в XI в., «Рассуждение о голых договорах», трактаты «О кредитах» и «О пекулии», а также схолии к законодательному своду IX в. «Василики». Он был известен больше своими агиографическими и юридическими трудами, чем богословскими работами. Патриарх проявлял заботу об украшении и обновлении столичных храмов, в особенности храма Святой Софии. Он оставался на престоле до своей кончины (2 августа 1075 г.), был похоронен в монастыре Ангуриев («Огуречный монастырь») на Босфоре.