Уйдя из родительского дома, блаженный работал «водоносцем» на вологодских солеварнях и уже тогда изнурял себя строгим постом, спал на камнях, одевался в рубище, а свободное от работ время посвящал молитве. По мнению исследователей, с этим периодом связано его прозвище водоносец. По другой версии, прозвище появилось в связи с тем, что святой безвозмездно носил воду для людей. Подвиг юродства Иоанн принял в Ростове, где жил при Успенском соборе, там он «учини себе жилище и постави келию». Согласно Житию Иринарха Ростовского, Иоанн предсказал Иринарху его учительство «по всей вселенней», посоветовал носить вериги, а свой уход в Москву объяснил так: «Аз же иду к Москве ко государю земли прошати, что у меня на Москве будут видимых бесей, что в них едва уставятся хмелевыя тычи, и тех Святая Троица силою Своею изженет». Позднее эти слова Иоанна исследователи интерпретировали как предсказание событий Смутного времени. Иринарх преставился в 1616 г. в возрасте 69 лет, исследователи считают маловероятным, что его встреча с Иоанном произошла раньше 1570–1580 гг. Согласно уникальному свидетельству Жития ростовского блаженного Иоанна Власатого, Милостивого (по списку Милютинских Четьих-Миней), Иоанн жил в Ростове в одно время с Иоанном  Власатым  (ум. в 1580 г.?): «Бе в Ростове человек праведен и именем Иоанн, зовомый Болшой Колпак, млад, и той многа знамения и чюдеса творя, и прорицая многим и архиепископу Евфимию, и збысться, и отъиде в царствующий град Москву, и чудодействуя много, и почи о Господе у Покрова Пресвятыя Богородицы на Рву» (Исторический музей, 1646–1654 гг.). Архиепископ Евфимий занимал Ростовскую кафедру в 1583–1585 гг. Следовательно, Иоанн в первой половине 1580 гг. жил в Ростове и был тогда молод. В службе Иоанну и в первой редакции его Жития говорится, что блаженный провёл в Ростове «многая лета», а в Москве «собеседник быв святому и блаженному Василию, Христа ради юродивому». Однако Василий Блаженный преставился около 1557 г. и вряд ли мог быть «собеседником» Иоанна. Исследователи полагают, что Иоанн оставил Ростов не раньше середины 1580 гг., поскольку в Москву, согласно Житию, он пришёл «на своё преставление», незадолго до кончины. В перемышльском Лютиковом монастыре сохранилось предание о том, что Иоанн предупредил жителей Калуги о пожаре криком: «Железные двери, железные затворы!» Возможно, это сказание навеяно историей тушения пожара в Новгороде св. Василием Блаженным. В Москве Иоанн поселился у собора Покрова на Рву, часто ночевал на улицах, ходил полуодетый, имел длинные волосы, голову посыпал пеплом или заливал смолой. Под власяницей носил тяжёлые вериги с медными крестами, на кистях рук – железные кольца, на пальцах рук – медные и железные кольца, «у тайных уд» – медные кольца. Верхней одеждой ему служил валяный «колпак с прочим покрытием тела своего вкупе, свален, а не швен», отчего святой получил прозвища Большой Колпак, Великий Колпак, Великоколпачник, Большая глава. Ожидая начала литургии, Иоанн бросал «колпак» на землю, вставал на него и молился на виду у прохожих, глядя на солнце. В более поздних вариантах текста Жития «колпак» заменён железной шапкой.