На территории бывшего смоленского Смядынского Борисоглебского монастыря была обретена мраморная гробница, как полагают исследователи, с останками Смоленского князя Давида Ростиславича (XII в.). Весной 1829 г. Иосиф возглавил церемонию перенесения тела государственного деятеля генерала Василия Васильевича Энгельгардта (ум. в 1828 г., местность Ольшана Киевской губернии) в усадьбу Чижово Духовщинского уезда Смоленской губернии и захоронения в склепе храма Покрова Пресвятой Богородицы. 22 августа 1826 г. в Москве Иосиф участвовал в коронации императора Николая I, подносил «воду для умывания уст и рук», 4 сентября 1832 г. встречал царя в Успенском соборе Смоленска. 17 февраля 1834 г. Синод уволил Иосифа на покой с официальной формулировкой «за болезнию». Исследователи считают, что поводом к увольнению послужил неудачный приём Николая I: архиерей подготовил торжественное Слово, но, встретив государя, так оробел, что вместо приветствия стал обильно кропить его св. водой. По преданию, император Николай I разгневался на него: «Что вы делаете, бесов из меня выгоняете, видно? Вы совсем облили меня водой!» В прощальной речи (18 марта 1834 г.) Иосиф смиренно признался пастве, что в «апостольской должности» он был «неисправен и упустителен». Современники называли Иосифа «добрым» архипастырем, отмечали его простоту в обращении с людьми и снисходительность. Смоленская помещица М.С. Николаева-Транковская вспоминала, как Иосиф при объезде епархии остановился в её имении Покровское: «После всенощной пил он у нас чай и ночевал. Это был маленький, худенький старичок с очень воздержанной жизнью. Хотя ему был приготовлен обыкновенный матрац, но он не лёг на него, а спал на полу, на разостланном в один только ряд ковре. С вечера ничего не кушал, готовясь служить обедню». Удалившись на покой, Иосиф проживал в Киево-Печерской лавре, пользовался уважением киевского духовенства. С «особым почтением» относился к Иосифу Чигиринский  епископ Иннокентий (Борисов). После перевода в 1841 г. из Киева в Вологду епископ Иннокентий писал киево-печерскому «почтеннейшему старцу о. Д.»: «У преосвященнейшего Иосифа поцелуйте за меня руку и поклонитесь ему до земли: незабвенный для меня пастырь. Чтите его как отца». 27 февраля 1837 г. Иосиф вместе с епископом Иннокентием (Борисовым) совершил погребение митрополита Киевского и Галицкого Евгения (Болховитинова) в Сретенском приделе киевского Софийского собора. При этом Иосиф огласил завещание покойного митрополита. 6 апреля 1841 г. в Великой церкви Киево-Печерской лавры Иосиф вместе с митрополитом Киевским и Галицким Филаретом (Амфитеатровым) и епископом Вологодским Иннокентием (Борисовым) участвовал в хиротонии архимандрита Иеремии (Соловьёва) во епископа Чигиринского, викария Киевской митрополии. 15 июля 1842 г. Иосиф вместе с Киевским митрополитом Филаретом и архиепископом Волынским и Житомирским Никанором (Клементьевским) освятил восстановленную Десятинную церковь в честь Успения Пресвятой Богородицы. В журнале «Воскресное чтение» печатались поучения Иосифа, проникнутые, по отзывам критиков, «отеческим простодушием и некоторого рода своеобразным остроумием». Иосиф был погребён в Дальних пещерах лавры, в церкви в честь Зачатия св. праведной Анны, с южной стороны. В 1991 г. над захоронением Иосифа была установлена мраморная плита вместо утраченной в советское время медной. Архиерей завещал насельникам лавры девять икон, четыре картины, в том числе собственный портрет, 144 книги и карманные золотые часы работы французского мастера Абрахама-Луи Бреге.