С XVII в. образ Иоанна часто встречается в иконописи среди Ростовских святых; в надписях, как правило, именуется «Милостивый». Так, на иконе 1686 г. с надписью на нижнем поле: «Образу Ростовских чудотворцев моляша Феодор Стефанов с сыном своим Афанасием (7194) год» – в первом ряду представлены Ростовские святители, во втором – преподобные и блаженные; у Иоанна русые волосы и округлая борода. Образ находится в церкви Толгской иконы Божьей Матери в Ростове, куда был перенесён в 1814 г. из упразднённой церкви Воскресения словущего. На иконе «Спас Нерукотворный, с предстоящими святыми» (1645 г., музей-заповедник «Ростовский кремль»), находившейся над городскими воротами Ростова, в середине XVIII в. были приписаны Ростовские чудотворцы. Иоанн – крайний справа в верхнем ряду (за блаженным Исидором), с длинными русыми волосами и окладистой бородой, с клюкой в левой руке, в рубахе оливкового цвета. Получил распространение извод «Избранные святые в молении перед ростовской чудотворной Владимирской иконой Богоматери», среди образов святых преобладали Ростовские. На иконе второй половины XVII в. (музей-заповедник «Ростовский кремль») Иоанн написан вверху слева, погрудно, вполоборота к центру, с посохом в правой руке, за другим ростовским юродивым – Исидором. На иконе «Ростовские чудотворцы» второй половины XVIII в. (Русский музей) Иоанн – в правой части композиции в повороте влево, в молении, с короткими волосами и окладистой русой бородой. Облик Иоанна близок к описаниям подлинников, но его одежда необычна – красная рубаха, украшенная светлым мехом. «Владимирская икона Божией Матери, со святыми на полях» (1855 г., музей-заповедник «Ростовский кремль») была исполнена иконописцем Алексеем Фёдоровичем Крыловым «с подлинной чудотворной местной иконы ростовского собора» по заказу Ростовского градского общества для 128-й Ростовской дружины Ярославского подвижного ополчения, которое участвовало в Крымской войне 1853–1856 гг. (впоследствии икона была помещена в Успенском соборе Ростова). Среди поясных изображений русских святых, главным образом, Ростовских, на правом поле вторым снизу написан Иоанн. На Боголюбской иконе Божьей Матери «в молении Ростовских чудотворцев» (конец XVII в., музей-заповедник «Ростовский кремль») Иоанн представлен в монашеских одеждах (в надписи назван «преподобный»), с короткими кудрявыми волосами и со средней величины бородой (см. также икону-пядницу XIX в. из собрания музея истории религии). Исследователям известна прорись с иконы XVII в. с группой Ростовских святых и с архангелом перед Богоматерью с Младенцем (Русский музей). Исследователи предполагают, что образ Иоанна есть на иконе «Богоматерь на престоле, с молящимися Ростовскими чудотворцами» второй половины XVIII в. В верхней части иконы «Воскресение Христово – Сошествие во ад, с избранными святыми» 1729 г. (музей-заповедник «Ростовский кремль») в молении к Святой Троице Новозаветной написаны преимущественно Ростовские чудотворцы, Иоанн – крайний слева во втором ряду, за преподобным Петром, царевичем Ордынским. На двух иконах «Собор Ростовских святых» – 1838 г. и конца XIX – начала XX вв. (церковь Толгской иконы Божьей Матери в Ростове) – Иоанн изображён крайним слева в верхних рядах, волнистые волосы и борода с проседью, руки сложены на груди.