При императоре Феофиле Иоанн VII Грамматик уже в 829 г. стал синкеллом патриарха Антония I Кассиматы, а после его смерти – патриархом. Исследователи не сомневаются, что он имел интеллектуальное влияние на императора Феофила, но сообщения источников о том, что Иоанн VII Грамматик был его наставником в детстве, исследователи считают недостоверными, учитывая слишком небольшую разницу в их возрасте. Иоанн VII Грамматик принимал активное участие в преследованиях иконопочитателей, в частности, святых Иоанна Психаита, Макария Пелекитского, Никиты Мидикийского, братьев Феофана и Феодора Начертанных. Догматические диспуты с Иоанном VII Грамматиком – один из общих сюжетов Житий исповедников эпохи иконоборчества. Являются ли эти тексты описанием действительных событий или используется общий литературный мотив, исследователи установить не могут. По мнению исследователей, именно из-за радикальной иконоборческой позиции Иоанн VII Грамматик не стал патриархом после смерти патриарха Феодота I в 821 г., т.к. император Михаил II хотел прийти к компромиссу в церковных делах. Как раз между 821 и 826 гг. издатель датирует три письма Феодора Студита Иоанну VII Грамматику, выдержанные в весьма уважительном тоне и посвящённые богословской полемике, главным образом, относительно почитания икон. Тем не менее, Феодор Студит обращается к Иоанну VII Грамматику только как к грамматику, т.е. учёному, не называя церковных чинов. Ещё будучи синкеллом, Иоанн VII Грамматик руководил одним или несколькими византийскими посольствами в Багдад к халифу аль-Мамуну, ему удалось уговорить бежавшего в халифат логофета Мануила вернуться в Византию. О византийском посольстве 832 г. писали арабские авторы ат-Табари и аль-Масуди. Византийские хронисты сообщали, что под впечатлением от посещения Сирии Иоанн VII Грамматик построил дворец Вриас в Константинополе в арабском стиле, причём Продолжатель Феофана называл Иоанна VII Грамматика главным архитектором. В хронике Симеон Логофет называет Иоанна VII Грамматика «свойственником» императрицы Феодоры (точное значение греческого слова исследователям неясно, возможно «кум»); этим, как полагают исследователи, объясняются близкие отношения Иоанна VII Грамматика с императорским двором. Если брат Иоанна VII Грамматика Арсавир – одно лицо с патрикием и магистром Арсавиром, мужем Каломарии, сестры императрицы Феодоры, то исследователи полагают, что патриарх и императрица находились в свойстве. Непосредственно о патриаршестве Иоанна VII Грамматика сохранилось мало сведений. Сообщение о созыве им иконоборческого Собора в Константинополе в 837 г., хотя и считается учёными «несколько подозрительным», тем не менее, может соответствовать действительности, если считать, как полагают исследователи, что именно тогда анафеме были преданы патриарх Фотий и его отец спафарий Сергий. При Иоанне VII Грамматике на патриарших печатях впервые появилась надпись: «Епископ Константинополя Нового Рима» (печать находится в Государственном Эрмитаже).