По свидетельству современников, на покое он вёл строгий аскетический образ жизни: довольствовался самым малым, не имел богатых облачений, денежных сбережений, сам стирал свои вещи и занимался уборкой. Последние годы проживал с келейником в отдельном доме, построенном донским помещиком М.В. Себряковым для своего сына, принявшего постриг в Кременском монастыре. «Почасту он уходил в монастырский лес, в горы, для уединённого созерцания славы Божией и молитвы и пребывал там иногда даже по несколько дней». Он любил говорить, что «абсолютная правда живёт только на небе; ангельский строй жизни возможен только между ангелами. Книга лучший наш собеседник, бесконечно обильный самыми возвышенными речами, назиданиями, утешениями, друг крайне непритязательный, много дающий и ничего не требующий от нас для себя назад». «За полгода до смерти, которую он предсказал и спокойно ждал, святитель стал неземным человеком: вид его сделался такой необычайный, глаза большие, светлые, спокойные, смотрящие куда-то внутрь. В это время он почти не принимал пищи и питья, спал мало, дух его был устремлён к небу, он дышал непрестанно молитвою». Перед кончиной распорядился, «чтоб никакого дележа по смерти моей не было, что было, мною отдано родным при жизни… книги в семинарию, а прочее раздать нуждающимся». Личная библиотека Иоанна была завещана Пензенской и Новочеркасской семинариям. Чин отпевания 28 июня 1872 г. соборно совершил епископ Аксайский Никанор (Бровкович), в числе сослуживших был и душеприказчик усопшего архимандрита Исаия из Новочеркасского архиерейского дома. На отпевании молилась игуменья Усть-Медведицкого монастыря Арсения, дочь М.В. Себрякова, которая поддерживала архиерея в последние его годы. Погребён в Благовещенском приделе Вознесенского храма монастыря у правого клироса. На могиле была положена плита с крестом, рядом в нише стены установлен памятник с элементами архиерейского облачения. Вскоре после кончины казаки новочеркасского торгового общества ходатайствовали о перенесении тела Иоанна в Новочеркасск; их поддерживал и архиепископ Платон (Городецкий). Однако этому воспрепятствовало отсутствие «приличного места», в частности, не был достроен новый кафедральный войсковой Вознесенский собор. После неоднократных просьб жителей Новочеркасска по указу Синода от 1 сентября 1911 г. останки архиепископа было решено перенести в Вознесенский собор. Специальная комиссия Донской духовной консистории 11 сентября вскрыла могилу и засвидетельствовала, что тело и одежды пребывали нетленными. 4 октября того же года в Покровской церкви в крипте Вознесенского кафедрального собора состоялась церемония захоронения останков владыки и останков героев Дона: графов Матвея Ивановича Платова, Василия Васильевича Орлова-Денисова, генералов Ивана Ефремовича Ефремова и Якова Петровича Бакланова. В молитвенное воспоминание об Иоанне ежегодно в день перенесения его останков соборным духовенством устраивалась поминальная трапеза для бедных. Исследователи полагают, что в 1928 г. могилы в Вознесенском соборе были вскрыты. 15 июня 1993 г. останки всех погребённых были торжественно перезахоронены там же.