Ближайшим селением в 20 верстах была деревня Сидоровка на пути к Кузнецку (ныне Новокузнецк), до которого было около 50 верст. В других направлениях в радиусе 200 вёрст никакого жилья не было. Здесь они и прожили 20 лет в двух небольших деревянных кельях, находившихся на расстоянии около 100 сажён одна от другой. Отшельники пребывали в совершенном безмолвии, лишь субботу, воскресенье и большие праздники проводили вместе, читали творения св. отцов, беседовали. Завели небольшой огород, ловили рыбу в озёрах. Во время Успенского поста по реке Томь добирались до Кузнецка, чтобы причаститься Святых Таин. В пасхальные дни отшельников посещал некий крестьянин Тимофей. Согласно Житию, первоначально Зосима подвергался бесовским страхованиям, боролся с помыслом оставить отшельничество, но спустя три года, по собственному признанию, перестал чувствовать страх и смотрел на бесов как на «надоедающих мух». Некоторое время со старцами жил 20-летний подвижник Пётр (Мичурин). Став свидетелем «высочайшего к Господу горения» юноши, Зосима составил его жизнеописание. Одновременно Зосима в особой рукописи продолжал фиксировать молитвенный опыт старца Василиска. Игнатий (Брянчанинов), прочитав впоследствии это сочинение, отозвался так: «Житие Василиска есть евангельское, мудрование его евангельское, очищенное и просвещённое». Московский митрополит Филарет (Дроздов) свидетельствовал: «В благодатном царствии Христа Спасителя нередко можно усматривать, что Он среди сокровенных подвигов засвечивает в душах избранных благодатный свет, но потом действует по Своему правилу, изречённому в Евангелии: не скрывать светильника под спудом, но употреблять его для просвещения чрез него и других. Сие можно примечать и в житии старцев Василиска и Зосимы. Василиск безмолвствовал в пустыне безысходно. Зосима должен был иногда входить в селения для приобретения необходимых потребностей жизни и, следственно, вступать в сношения с людьми. Ему встречались души, труждающиеся и обременённые в мире, ищущие душевного покоя и нуждающиеся в руководстве. По усильным просьбам, с благословения старца Василиска, Зосима принял их в своё руководство. И таким образом началось в дальней Сибири общежитие». Около 1820 г., после 20 лет отшельничества, Зосима и Василиск стали окормлять мирян. Первой к старцам обратилась мещанка Кузнецка, вдова Анисья Ивановна Конюхова, которая лишилась к тому времени и мужа, и двух малолетних сыновей. Василиск благословил вдову поселиться в ближайшей деревне Сидоровке. К ней присоединились две девицы: дочь коллежского советника Наталья Матвеевна Васильева и купеческая дочь сирота Евдокия Романова. Спустя год с ними поселилась овдовевшая к тому времени мать Васильевой – Анастасия Николаевна. В деревне Сидоровке были выстроены маленький келейный корпус, ограда. Зосима написал для общины сестёр особое «Поучение о послушании». Старец занялся духовным окормлением своих учениц: составил для них особые письма – «заветы», как называли их сёстры, в которых и наставник, и его духовные чада обещали перед Богом находиться во взаимной любви, в доверии, в ответственности друг перед другом и в безоговорочном послушании учениц учителю.