В Костроме вышло первое печатное сочинение Иустина (1883 г.), написанное в связи с кончиной 7 июня 1883 г. епископа Игнатия (Рождественского). Здесь же Иустин составил по семинарской программе труд «Православно-христианское вероучение, или Догматическое богословие». 22 декабря 1884 г. Иустин был назначен епископом Михайловским, викарием Рязанской епархии; хиротония состоялась 27 января 1885 г., в день памяти Иоанна Златоуста. Будучи викарием, Иустин управлял рязанским в честь Преображения Господня монастырём.В обители устроил хозяйственные службы, колодец, разбил палисадник. С 10 августа 1885 г. – епископ Новомиргородский, первый викарий Херсонской епархии. Трудами Иустина в Херсоне была расширена Крестовая церковь, возведена новая колокольня, устроены два бассейна (видимо, для охлаждения воздуха в жаркие летние дни), реставрирован собор в честь Успения Пресвятой Богородицы, воздвигнута и освящена новая каменная церковь в честь Сретения Господня, насажен сад из белых акаций. По свидетельству Иустина, во время служения на Херсонской кафедре он удостоился посещения Божьей Матери: «Явилась мне, недостойному, во всей небесной красоте и величии и возложила на меня большой венок из белых роз и лилий. И когда я в необыкновенном восторге спросил: “Кто это?” – мне отвечал невидимый голос: “Святая Святых Большая!”». Для увековечения памяти об этом событии Иустин поставил в херсонском соборе, на горнем месте, икону Успения Божьей Матери, а под ней – медную дощечку с надписью: «Радуйся, Святая Святых Большая»; рядом положил резной позолоченный венок с крестом посередине. Позже, пребывая на Тобольской кафедре, Иустин составил акафист Абалакской «Знамение» иконе Божьей Матери, в каждом икосе которого имеется воззвание: «Радуйся, Святая Святых Большая». В период пребывания Иустина на Рязанской кафедре была написана большого размера, в рост, икона Божьей Матери, которую украшал венок («во образ виденного»). Иустин передал её в Успенский Ольгов монастырь в Рязанском уезде и губернии, обращённый им из мужского в женский. 16 декабря 1889 г. Иустин возглавил Тобольскую и Сибирскую кафедру. В Тобольск прибыл 13 февраля 1890 г., во вторник на первой седмице Великого поста. Вскоре после прибытия Иустин подарил всем настоятелям церквей города Тобольска своё сочинение «Догматическое богословие»; собственноручно на каждом экземпляре святитель написал наказ пастырям «исполнять закон Божий и ревностно проходить свои обязанности». Трудами Иустина в Тобольске были «поновлены» два флигеля при архиерейском доме, отремонтированы храмы во имя Николая Чудотворца (первая треть XVIII в.) и в честь Казанской иконы Божьей Матери (вторая половина XVIII в.), в Тобольской духовной семинарии построена церковь во имя Димитрия Ростовского. В Междугорском во имя св. Иоанна Предтечи монастыре близ Тобольска была возведена новая каменная двухэтажная церковь-усыпальница, в которой Иустин хотел быть похороненным. На заимке обители в Жуковке поставлена небольшая деревянная церковь во имя мученика Феодота и семи дев – в память жертв голода и холеры 1891–1892 гг. Иустин чтил память «апостола Сибири» митрополита Тобольского Филофея (Лещинского).