Обычно Иоанн изображался в центральной части в схиме и архиерейской мантии (иногда украшенной орнаментом), с непокрытой головой (реже в белом клобуке), с волнистыми волосами с проседью и округлой бородой, в руке Евангелие или жезл. На прориси с иконы «Новгородские чудотворцы» XVIII в., где сонм святых представлен в молении образу Софии Премудрости Божьей, Иоанн – в первом ряду справа позади Никиты, на нимбе надпись: «Иоаннъ». Один из почитаемых «старинных» образов такого извода с изображением Софии Премудрости Божьей находился «в ризнице Черниговской кафедры». Житийная иконография Иоанна известна по памятникам XVII в., в частности, по иконе, опубликованной Гусевым в 1903 г. и утраченной во время Великой Отечественной войны, по миниатюрам сборника первой половины XVII в. из собрания книги Михаила Андреевич Оболенского (Российский государственный архив древних актов), по фрагментам деревянной раки 1663 г. Икона Иоанна «с деяниями», находившаяся в новгородской церкви святителя Власия на Торговой стороне в приделе во имя апостола Иакова, брата Господня, была отмечена ещё архимандритом Макарием (Миролюбовым). Местонахождение иконы в приделе, пристроенном в 1778 г., не изменилось и после 1847 г., когда он был утеплён. Житийные композиции располагались в два ряда на двух досках, присоединённых по сторонам средника с ростовым изображением Иоанна; размер узких створок (1 сажень х 7 вершков = около 2 м х 31 см) дал Гусеву повод думать, что материалом могли послужить части первоначальной раки – предшественницы раки 1559 г. В 28 клеймах были представлены сцены из Жития, не во всём совпадающие с текстом, вошедшим в Великие Минеи Четьи (например, пострижение Иоанна в монашество). Отдельные циклы деяний на иконе из церкви святителя Власия посвящены чуду от иконы Божьей Матери «Знамение» (девять клейм) и легендарной истории о путешествии Иоанна в Иерусалим (11 клейм). Последние отражают городскую мифологию, связанную с Иоанном («Иоанн что на бесе ездил»), устойчивую уже в конце XV в. («Полное собрание русских летописей, том 20) и вошедшую в Великие Минеи Четьи. К началу XX в. живопись иконы была скрыта масляной записью. Миниатюры, посвящённые событиям жизни и почитанию (обретению мощей) Иоанна, иллюстрируют рукописи Лицевого летописного свода 1570 гг. (Лаптевский, Голицынский тома: Российская национальная библиотека). На миниатюре из сборника (Российский государственный архив древних актов) представлено чудо о построении церкви Благовещения Пресвятой Богородицы братьями-мирянами Илиёй (Иоанном) и Григорием (Гавриилом). На стенках раки 1663 г. житие Иоанна было изображено в рельефах, заключённых в четыре круга, где подробнее всего излагался рассказ о путешествии Иоанна в Иерусалим и о том, как он был оправдан после обвинений в «блуде». Слепок с одной из досок раки был сделан для Исторического музея в Москве. Несколько сцен из Жития Иоанна сохранилось в так называемой келье Иоанна, занимающей северо-западную комнату Владычной палаты новгородского Детинца (роспись 1820 гг.; в 2008–2009 гг. демонтирована со стен кельи бригадой реставраторов под руководством Владимира Дмитриевича Сарабьянова).