9 мая 1857 г. в память о Крымской войне Иосиф был награждён бронзовым крестом на владимирской ленте. Секретным указом Синода от 19 мая 1860 г. Иосифу поручалось присутствовать при освидетельствовании мощей Тихона Задонского. 13 августа 1861 г. Иосиф присутствовал при открытии мощей святителя. По воспоминаниям современников, строгость и требовательность к духовенству Иосиф сочетал со снисходительностью. Нерадивых и малообразованных клириков высылал для исправления в монастыри, сохраняя за ними право пользования некоторыми доходами; также помогал им из личных средств. Предпочитал предоставлять материально обеспеченные приходы лучшим по разрядным спискам воспитанникам семинарий, способствуя таким образом улучшению уровня образования среди учащихся и епархиального духовенства. Часто совершенно неожиданно посещал с инспекцией духовно-учебные заведения, обходил столовые, жилые комнаты, знакомясь с повседневной жизнью воспитанников. Добился того, чтобы так называемые публичные, актовые экзамены проводились в более скромной обстановке. 14 ноября 1864 г. из-за потери зрения Иосиф вышел на покой, проживал в Митрофановом Благовещенском монастыре; жил на первом этаже архиерейского дома. Ободрённый митрополитом Филаретом, Иосиф принял испытание болезнями со смирением. Проведённые на покое 27 лет стали для него временем строгих бдений, поста и молитвы. Иосиф каждый день начинал и заканчивал пением псалмов. Горожане и богомольцы, приходившие на поклонение к мощам Воронежского святителя Митрофана, запомнили смиренный образ старца, которого келейник ежедневно приводил в Крестовую архиерейскую церковь к литургии и вечернему богослужению. Иосиф был замечательным проповедником, имел талант импровизатора, обладал громким мелодично-серебристым тенором. После его смерти осталось до 200 рукописных проповедей, произнесённых в разное время; впоследствии некоторые из них были напечатаны. Отпевание и погребение Иосифа в Благовещенской обители возглавил Воронежский и Задонский епископ Анастасий (Добрадин). На литографии начала 1860 гг. (Российская государственная библиотека; портрет из собрания Оптиной пустыни) Иосиф представлен по пояс, вполоборота влево, в архиерейской мантии и чёрном клобуке, на груди – панагия и орден св. Анны, правой рукой именословно благословляет, в левой – держит жезл с навершием в виде посоха и с сулоком. У него длинные волнистые волосы, лежащие на груди двумя прядями, и большая окладистая седая борода. Тоновый эстамп с аналогичным изображением, отпечатанный в мастерской А.П. Руднева в 1862 г., хранится в собрании Исторического музея.