Образ Иоанна в рост находился в возглавии его раки (опись 1751 г.). Согласно описям XIX в., над ракой Иоанна стояла «сень резная золочёная, на коей образ Святаго Иоанна архиепископа обложен фольгою» (Описи Софийского собора 1833 г.). Исследователи полагают, что к началу XX в. в музейные собрания из Софийского собора попали иконы с изображением Иоанна, описанные П.Л. Гусевым: пядница XVI в. (?) плохой сохранности и храмовый образ XVII в. (?) с молением святителей Иоанна и Никиты Спасу Еммануилу. Древнейшие произведения с образом Иоанна представлены в лицевом шитье. Пелена небольшого размера, соответствующего пядничной иконе, происходит из костромского Ипатиевского монастыря (начало XVI в., музеи Московского Кремля). Основываясь на датировке ткани, особенностях стиля и технологии, исследователи приписывают пелену мастерской боярыни Настасьи Овиновой, из числа переведённых в Москву на жительство знатных новгородцев. Иоанн изображён по пояс, в коричневой монашеской мантии, в синей схиме с шитыми красным крестами, куколь на плечах, седая борода округлой формы, десница перед грудью в благословении, в левой руке – свиток; подпись: «Оаг иа(н) чю(д)творец ногородъцкiй». Фрагмент с фигурой Иоанна (начало XVI в., Новгородский областной музей-заповедник) с поднятыми в молении руками входил некогда в состав сборной пелены с композицией «Положение во гроб» в центре и с фигурами святых на полях. Святитель сед, с окладистой бородой, в тёмной рясе и в мантии с источниками, стоит под килевидной аркой. Парные изображения Новгородских святителей Иоанна и Никиты как наиболее чтимых святых – покровителей церкви и города служили излюбленным вариантом для создания «подносных» икон пядничного размера, писавшихся по заказу архиерейского дома уже в XVI в. Судя по описаниям в документах и сохранившимся произведениям, такие иконы имели различные изводы. Икона-пядница с образами «новгородских чудотворцов» Никиты и Иоанна в XVIII в. находилась среди икон в алтаре собора; венцы на ней были сканые «с финифтью», на среднике – резной оклад, с серебряной басмой по полям (Описи Софийского собора. 1993 г., выпуск 2, опись 1749 г., опись 1751 г.). Икона со святителями Никитой и Иоанном была помещена над дверями «в придел к чудотворцу Никите» (в честь Рождества Пресвятой Богородицы), на ней святые предстояли в молении образу Спасителя (над ними – два ангела); икона имела пять венцов, фон и поля в басменном золоченом окладе (Описи Софийского собора 1833 г.). Исследователям известна икона подобного извода второй половины XVI в. (из собрания Георгия Дионсовича Костаки, музей Андрея Рублёва), на которой Иоанн изображён старцем с седой окладистой бородой, в архиерейской зеленовато-коричневой мантии со светлыми источниками и с голубыми скрижалями, в серовато-голубой ризе. Он стоит справа в молении, подняв «очи горе», к образу Божьей Матери «Знамение». Икона похожего извода святителей Никиты и Иоанна, но храмового размера упоминается в иконостасе придела в честь Входа Господня в Иерусалим, по левую сторону царских дверей, на втором месте (Описи Софийского собора. 1993 г., выпуск 3, опись 1775 г., описи Софийского собора 1833 г.).