Древнейшие сохранившиеся памятники, датирующиеся рубежом XVI и XVII вв., свидетельствуют о том, что хронологический разрыв между датой смерти Иоанна и созданием его первых изображений был минимальным или вообще отсутствовал (встречающиеся в литературе утверждения о том, что иконы Иоанна известны с серидины XVII в., не имеют оснований). Образ Иоанн исследователи относят к особой группе, куда входят изображения ещё нескольких русских юродивых блаженных Иоанна Власатого Ростовского, Лаврентия Калужского, Николая Кочанова (отчасти блаженного Прокопия Устюжского). Отличительными признаками изображений этих юродивых служат не нагота или рубище, а одежды, почти полностью скрывающие тело святого, и индивидуальные атрибуты (топор, кочан, кочерги), которые напоминают о деяниях блаженного или о специфической манере его поведения, описанной в Житии и оставшейся в памяти верующих. Распространение иконографии, в рамках которой облик юродивого, утративший связь с архетипическим образом Андрея Юродивого Константинопольского, лишился прежней символической остроты, приобрёл конкретность и «бытовую» достоверность, исследователи расценивают как признак нового этапа в развитии почитания этих святых, игравшего важную роль в русском религиозном сознании позднего Средневековья (другая грань этого процесса – распространение образов юных блаженных). Однако внешность Иоанна контрастирует не только с обликом московских «нагоходцев» Василия и Максима, известных по памятникам XVI – первой половины XVII вв., но и с иконографией блаженных Иоанна Власатого Ростовского и Лаврентия Калужского, имеющей более условный и идеализированный характер. Своеобразие иконографии Иоанна выражено, прежде всего, в типе лика и в добротной одежде и объясняется не вполне обычным для юродивого образом жизни (ср. известие о трудах на соляных варницах) и, очевидно, болезненностью святого. В основном, это касается сравнительно редких единоличных или фронтальных изображений Иоанна; включение его фигуры в группы избранных святых не всегда позволяло воспроизвести все индивидуальные признаки внешности блаженного и способствовало её идеализации. Портретный характер первых изображений Иоанна передан в описаниях его облика в некоторых иконописных подлинниках под 3 июня, 3 июля или 13 ноября (классификация текстов произведена протоиереем И.И. Кузнецовым). Если не считать простейших явно формальных или неверных характеристик («млад, во единой свитке»; «сед, брада доле Николы, ряска дичь»), которые, по мнению исследователей, имеют сравнительно позднее происхождение, эти описания довольно пространны, хотя и различаются в деталях. Согласно одному из наиболее подробных и распространённых вариантов, Иоанн «старообразен, брада не велика, едва знать, рус, плешив, с морщинами, власы свились назад з главы, свитка зелёная (празелень), пуговицы до подолу, в руке левой клюка и колпак», «колпак велик, ноги босы». Здесь перечислены признаки, свойственные многим ранним изображениям Иоанна: внешность человека неопределённого возраста, не имеющего бороды и седин, но в то же время пожилого или преждевременно состарившегося («старообразного»); морщинистое лицо; высокий открытый лоб; сравнительно длинные волосы, вьющиеся или волнообразно спадающие на спину; характерное одеяние с многочисленными застёжками (его цвет варьируется); клюка и колпак, который святой придерживает локтем.