По словам современника, Иустин «умел внушить уважение к епископскому сану не только представителям местной гражданской власти, но и инородцам, наполняющим Одессу». 26 марта 1905 г. Иустин был уволен на покой по собственному прошению «по преклонности лет», 29 марта назначен управляющим Новоиерусалимским в честь Воскресения Христова монастырём. 24 апреля совершил последнее богослужение в Одессе, 26 апреля покинул город. Иустин был избран почётным членом Кременецкого Богоявленского братства Волынской губернии (1881 г.), Российского общества покровительства животным (1881 г.), Императорского Православного Палестинского общества (1883 г.; имел знак общества первой степени), Иоанно-Предтеченского братства в Каменце-Подольске (1884 г.), братства святителя Димитрия Ростовского (1884 г.), Ростовского музея церковных древностей (1885 г.), Курского губернского статистического комитета (1887 г.), Каменец-Подольского благотворительного общества (1887 г.), Курского общества вспомоществования учащимся (1888 г.), братства Святой Софии в Новгороде (1888 г.), Суджанского благотворительного общества в Курской губернии (1888 г.), Подольского епархиального историко-статистического комитета (1891 г.), братства равноапостольного великого князя Владимира в Берлине (1892 г.), Одесского Императорского общества истории и древностей (1894 г.), Санкт-Петербургской духовной академии (1896 г.), Киевской духовной академии (1901 г.), Казанской духовной академии (1903 г.), действительным членом Холмского православного Богородичного братства (1884 г.; имел знак первой степени) и др. Награждён орденом св. Анны первой (1879 г.) и второй (1861 г.) степени и знаками этого ордена с императорской короной (1865 г.), орденами св. Владимира первой (1904 г.) и второй (1883 г.) степени, св. Александра Невского (1891 г.) и бриллиантовыми знаками этого ордена (1896 г.), бриллиантовым крестом для ношения на клобуке (23 июня 1901 г.), а также болгарским орденом «За гражданские заслуги» первой степени. Скончался во время богослужения в алтаре Воскресенского собора Новоиерусалимского монастыря, погребён в этой обители. Заупокойную литургию 27 мая 1907 г. совершили митрополит Московский Владимир (Богоявленский) и Омский епископ Григорий (Полетаев; друг Иустина по Нижегородской духовной семинарии, проживавший на покое в Новоспасском московском монастыре) в сослужении новоиерусалимской братии. В отпевании принял участие и Дмитровский епископ Трифон (Туркестанов). Слова, речи и поучения Иустина печатались в «Ярославских епархиальных ведомостях», «Подольских епархиальных ведомостях», «Волынских епархиальных ведомостях», «Курских епархиальных ведомостях», «Херсонских епархиальных ведомостях». Иустин не любил длинных поучений, считая, что «надо говорить столько, сколько может внимательно, без напряжения прослушать человек, пребывающий в труде, в работе или в службе; не доводя его до притупления, при котором он стоит в храме, не слушая».