Иконы двух юродивых могли появиться ещё на рубеже XVI и XVII вв., на что указывает конкретность образов Иоанна в самых ранних произведениях. К этому периоду восходят два пядничных образа – из собрания графа Алексея Сергеевича Уварова (Исторический музей) и из собрания Григория Матвеевича Прянишникова в Городце (начало XVII в., Нижегородский государственный художественный музей). Икона из собрания А.С. Уварова в начале XX в. считалась «мстёрской подделкой», искусно подражающей старинному образу (исследователи считают более вероятным, что это – древнее произведение с поновлениями и утратами). Лучше сохранившаяся икона из Нижегородского государственного художественного музея позволяет исследователям предположить, что подобные изображения появились вскоре после кончины Иоанна и почти одновременно с возникновением парных изображений блаженных Василия и Максима Московских. Упомянутые произведения иконографически идентичны друг другу: святые представлены в молении Святой Троице в небесном сегменте, помещённом на верхнем поле (деталь, возможно, напоминавшая о Троицком приделе Покровского собора, по сторонам которого располагаются погребения этих юродивых); Иоанн одет в «свитку» с застёжками-петлями, из-под которой видно белое одеяние сходного типа, обут в «ступни», держит «жезл» и колпак неправильной формы. Лик святого одутловатый, с тяжёлым подбородком и высоким лбом, волосы спускаются на спину крупной волной; его фигура подчёркнуто грузная (принципиальное отличие подобных композиций, построенных на контрасте двух фигур, от совместных изображений Василия и Максима, развивающих один и тот же образ измождённого юродивого-«нагоходца»). Подобные иконы создавались и позже: ср. образ Василия и Иоанна второй половины XVII в. из собрания Н.С. Паниткова, где святые также представлены в молении Святой Троице, и икону XIX в. (или XVII в. со значительными поновлениями, Исторический музей, музей «Покровский собор»), где они предстоят Христу Еммануилу; по мнению исследователей, к двойным изображениям обоих блаженных восходят и некоторые прориси с фигурой Иоанна в молении. Эти памятники демонстрируют отход от ранней традиции: Иоанн всё больше похож на юношу, а его колпак уменьшается в размерах, приобретает правильную форму (в то же время на иконе из собрания Н.С. Паниткова сохранено изображение чёток, известное по некоторым ранним памятникам). По мнению исследователей, в XVII в. создавались и иконы храмового праздника Покровского собора с фигурами блаженных Василия и Иоанна на полях (такой образ находился в собрании Н.М. Постникова и датировался XVI в.). Композиции с фигурами трёх московских юродивых появились уже в раннем XVII в.; как правило, блаженные изображаются вместе с другими столичными святыми (исследователям известна прорись из Русского музея с фигурами Иоанна, Максима (в центре) и Василия, однако им неясно, воспроизводит ли она икону этих святых или объединяет прориси отдельных изображений).