Иоанн Молчальник жил в затворе до того момента, когда преподобный Савва вынужден был во второй раз покинуть монастырь и уйти в добровольную ссылку (503 г.). Иоанн Молчальник также оставил монастырь и отправился в пустыню Рува, где в уединении и безмолвии прожил шесть лет. Однажды, собирая траву, которая служила ему пищей, преподобный удалился от своего жилища и потерял обратную дорогу. Едва живой от усталости, он был перенесён к своему убежищу Божественной силой. Во время одного из набегов арабов в Палестину Бог послал льва охранять Иоанна Молчальника. Вернувшийся из ссылки преподобный Савва убедил Иоанна Молчальника вновь переселиться в лавру. Здесь преподобный провёл оставшиеся дни жизни, безмолвствуя и не покидая кельи (даже для участия в похоронах преподобного Саввы), за исключением тех нескольких месяцев, когда власть в лавре была захвачена оригенистами (547 г.). К Иоанну Молчальнику приходили за духовным советом как монахи лавры и близлежащих монастырей, так и миряне. Епископ Еферий, который был в паломничестве в Иерусалиме и не смог отплыть к себе на родину из-за неблагоприятного ветра, в видении получил повеление пойти к Иоанну Молчальнику, у которого провёл два дня. Иоанн Молчальник рассказал Еферию о том, что он сам был епископом, от него об этом узнали остальные монахи. Благодаря строгой аскетической жизни Иоанн Молчальник стяжал дар чудотворения, в том числе исцелил бесноватого подростка, свидетелем чему был автор Жития Кирилл. Имея упование на Бога, Иоанн Молчальник посадил прямо на скале семя смоковницы, сказав, что если оно прорастёт, то и Бог даст ему Царствие Небесное. Семя дало росток, а через три года на нём появились три смоквы. Иоанн Молчальник увидел в этом знак скорой смерти и стал готовиться к ней. На протяжении всей жизни Иоанн Молчальник придерживался строго православных взглядов. Кирилл сообщает, что он был противником несторианина Феодора Мопсуестийского Мопсуестийского и сторонником игумена лавры Геласия в борьбе с монахами-приверженцами оригенизма. Выступал Иоанн Молчальник и против монофизитов, о чём свидетельствует история с обращением из монофизитства в православие племянника диакониссы Великой церкви Василины. Почти все греческие рукописи Жития содержат приписку, что Иоанн Молчальник умер 7 декабря (без указания года). Однако перевод Жития на грузинский язык, сделанный в конце VII в., содержит указание, что Иоанн Молчальник скончался в среду 8 января, т.е. в 559 г. Эту дату как более надёжную принимает большинство учёных.