По инициативе епископа Костромская духовная семинария временно разместилась в двух домах (XVIII в.) близ Успенского кафедрального собора; раньше здесь находились архиерейские покои, которые Иустин передал под правление семинарии. По свидетельству очевидцев, во время пожара в Костроме чуть не погиб ректор семинарии архимандрит Агафангел (Соловьёв); только благодаря предпринятым Иустином «самым энергическим мерам по отысканию его – живаго или мертваго» ректор был спасён. В 1848 г. на месте сгоревшей Богоявленской обители было решено построить новый большой семинарский корпус. При Иустине в Ипатиевской обители из-за недостатка средств была закрыта двухгодичная причётническая школа, но в ноябре 1845 г. в монастырских Палатах бояр Романовых открыто училище «для обучения детей штатнослужительских лиц мужеска пола». Во время эпидемий холеры в 1840 гг. Иустин устраивал регулярные молебны, духовно поддерживал паству. В 1847–1848 гг. посещал Бабаевский во имя Николая Чудотворца монастырь, в котором проживал архимандрит Игнатий (Брянчанинов), который всегда благосклонно отзывался об архиерее. Так, 24 августа 1847 г. Игнатий (Брянчанинов) писал иеромонаху Игнатию (Малышеву): «Около недели гостил в Костроме у преосвященного Иустина, который обходился со мною очень любовно». По свидетельству костромского протоиерея Ивана Яковлевича Сырцова, Иустин был «беспристрастен, доступен и сердоболен, хотя подчас вспыльчив и взыскателен. Любил часто совершать богослужения». 25 февраля 1850 г. Иустин был назначен на Владимирскую и Суздальскую кафедру. С января по сентябрь 1850 г. по поручению Синода одновременно управлял Нижегородской епархией в связи с пребыванием в столице и со скорой кончиной архиепископа Иакова (Вечеркова). С 28 июля по 28 августа 1850 г. по Высочайшему повелению Иустин проживал в Нижнем Новгороде, где 9 августа принимал посетивших город великих князей Николая и Михаила Николаевичей. Во время управления Нижегородской епархией Иустин пытался урегулировать конфликты, возникшие в Дивеевской общине, в частности, в связи с деятельностью Николая Александровича Мотовилова и игумена Иоасафа (Ивана Тихонова Толстошеева). 30 марта 1850 г. Иустин прибыл во Владимир. Его деятельность в епархии началась с упорядочения консисторского делопроизводства. В 1855–1858 гг. по инициативе и под личным наблюдением Иустина на средства (20 083 руб.), ассигнованные Синодом, было построено первое специальное здание Владимирской духовной консистории, что позволило приступить к постепенной ликвидации в епархии духовных правлений. В 1862 г. было закрыто Суздальское правление, имевшее к тому времени незначительное число рассматриваемых дел. Особое внимание Иустин уделял деятельности Владимирской духовной семинарии, ввёл в семинарский курс уроки истории и обличения старообрядчества; лично принимал экзамены, причём спрашивал «не по учебникам», беседовал, старался определить уровень интеллектуального развития каждого ученика. Результаты фиксировал и использовал в дальнейшем при определении на вакантные места без дополнительных собеседований со ставленниками. При этом Иустин, сын сельского дьячка, считал, что каждый выпускник семинарии перед рукоположением должен несколько лет прослужить псаломщиком или учителем, чтобы молодые священники «почувствовали на себе, как тяжело живётся низшему духовенству, и в дальнейшем сочувствовали и помогали бы своему причту».