К середине XIX в. здание старой «бурсы» за рекой Лыбедь обветшало, требовалась перестройка и семинарской больницы. Исходатайствовав в Синоде необходимую сумму и используя епархиальные средства, Иустин в 1859 г. начал строительство трёхэтажного каменного корпуса семинарского общежития на 150 мест и больницы, которое завершилось уже при его преемнике Феофане (Говорове). В 1860–1861 гг. помещение старой «бурсы» было перестроено для нужд четырёхклассного училища и семинарской библиотеки. 22 марта 1858 г. указом императора Александра II за долговременную пастырскую деятельность Иустин был награждён орденом св. князя Владимира второй степени (Большого креста). Интересуясь историей епархии, Иустин поощрял духовенство к занятию учёными трудами. Среди церковных историков, которые пользовались его покровительством и руководством, исследователи отмечают магистра иеромонаха Иоасафа (Гапонова), насельника Евфимиева суздальского в честь Преображения Господня монастыря, автора книг «Церковно-историческое описание владимирских достопамятностей» (Владимир, 1857 г.), «Церковно-историческое описание суздальских достопамятностей» (Чугуев, 1857 г.) и других сочинений. По распоряжению императора Николая I Иустин участвовал в деятельности Комитета по освидетельствованию гробницы князя Дмитрия Михайловича Пожарского, обнаруженной 23 февраля 1852 г. на кладбище Евфимиева монастыря. 17 августа того же года Иустин принимал участие в открытии и освящении памятника императору Петру I, сооружённого по инициативе дворянства Владимирской губернии в селе Веськове Переславского уезда, на берегу Плещеева озера. После окончания торжества предводитель владимирского дворянства преподнёс Иустину архиерейский посох. 4 июля 1857 г. Иустин участвовал в праздновании 700-летия кафедрального Успенского собора и Великого княжества Владимирского. Установил несколько крестных ходов: в 1850 г. – 29 июня из Преображенской церкви города Александрова в память прекращения холеры, в 1858 г. – 13 июня вокруг храмов александровского в честь Успения Пресвятой Богородицы монастыря в память сильного пожара, в 1860 г. – в 11-ю пятницу после Пасхи из Благовещенского собора города Киржача вокруг города по случаю избавления от падежа скота, в 1861 г. – в 11-ю неделю после Пятидесятницы из Троицкого собора города Покрова в воспоминание городского пожара, в 1863 г. – из покровской Островской в честь Введения во храм Пресвятой Богородицы пустыни в память прекращения эпидемии холеры. 26 февраля 1863 г. Иустин направил в Синод прошение об увольнении на покой, однако только 26 июля был уволен от управления епархией. 7 августа того же года во Владимире Иустин сопровождал императора Александра II во время осмотра нового тёплого храма при кафедральном соборе и Богородице-Рождественской церкви в архиерейском доме. 15 августа после литургии в Успенском соборе Иустин торжественно простился с владимирской паствой и удалился на покой в Борковскую во имя Николая Чудотворца пустынь, в сентябре того же года поселился в Боголюбском монастыре, но до учреждения в епархии викариатств Иустин продолжал рукополагать ставленников. В 1869 г., в период отсутствия архиерея во Владимире, инспектировал приходы Меленковского уезда. В 1865 г. Иустин устроил в своих покоях домовую церковь во имя мученика Иустина Философа. 2 февраля 1871 г. совершил малое освящение монастырского собора в честь Боголюбской иконы Божьей Матери. Иустин был погребён на северной стороне (между первым столбом и стеной) Богородице-Рождественской церкви Владимирского архиерейского дома. Храм и могила епископа не сохранились.