3 июля 1834 г. Иустин был назначен настоятелем Елецкого черниговского в честь Успения Пресвятой Богородицы монастыря и 12 июля того же года определён ректором Черниговской духовной семинарии. При нём на отпущенные из казны средства (около 45 тыс. руб.) осуществлялись ремонтные работы монастырских построек, однако в целом монастырь был беден, земли в Чернигове и вокруг него сдавались в аренду. В 1834 и 1835 гг. по указу Синода Иустин командировался в Санкт-Петербург для прохождения чреды священнослужения и проповеди. 23 мая 1837 г. за успешную службу Иустин был награждён орденом св. Анны второй степени. 1 июня 1841 г. состоялось наречение, а 20 июня в киевском Софийском соборе – хиротония Иустина во епископа Винницкого, викария Подольской епархии, которую совершил Киевский митрополит Филарет (Амфитеатров) в сослужении Чигиринского епископа Иеремии (Соловьёва) и пребывавшего на покое епископа Иосифа (Величковского). В августе 1841 г. Иустин прибыл на кафедру, поселился в шаргородском во имя святителя Николая Чудотворца монастыре. 27 июля 1842 г. Иустин был назначен епископом Старорусским, викарием Новгородской епархии, вскоре, 14 ноября 1842 г., стал епископом Ревельским, викарием Санкт-Петербургской епархии, помощником престарелого митрополита Серафима (Глаголевского). В январе 1843 г. по поручению Синода Иустин руководил подготовкой к похоронам столичного митрополита, заслужил благосклонное отношение обер-прокурора Николая Александровича Протасова. В 1843–1844 гг. по предписанию Санкт-Петербургского митрополита Антония (Рафальского) Иустин трижды инспектировал приходы епархии. 22 октября 1843 г. в Царском Селе при участии Иустина было открыто первое в России училище для девиц духовного звания. 28 января 1845 г. Иустин освятил главный придел в отремонтированном храме в честь иконы Божьей Матери «Знамение» селе Горки Лужского уезда. За усердные и ревностные труды Иустин был награждён орденом св. Анны первой степени (24 марта 1844 г.). 11 августа 1845 г. Иустин возглавил Костромскую и Галичскую епархию, 21 сентября прибыл в Кострому, поселился в Ипатиевском во имя Святой Троицы монастыре. По пути из столицы в Кострому Иустин посетил Троице-Сергиеву лавру, общался с архимандритом Антонием (Медведевым). В письме от 13 сентября 1845 г. Московский митрополит Филарет (Дроздов) спрашивал преподобного Антония об Иустине. Ответ лаврского архимандрита исследователям неизвестен, однако 21 сентября того же года Филарет писал ему об Иустине с добродушной иронией: «Высокости взгляда преосвященного Костромского, который не нашёл в Сергиевой лавре примечательного после Киева, не будем завидовать. А что не пришло ему на мысль выслушать молебное пение, это не от Невской ли лавры? Там не часто служат молебны святому Александру. Преподобный Сергий благостию своею да предварит его прошения и да явит ему утешение общения святых». Пребывание Иустина на Костромской кафедре осложнилось опустошительным пожаром (сентябрь 1847 г.), в результате которого в костромском Богоявленском монастыре сгорели почти все храмы и постройки, а также находившаяся в нём семинария. Поэтому кроме упорядочения дел консистории, скопившихся в связи с болезнью предшественника Костромского епископа Виталия (Шепетева; ум. в 1846 г.), Иустин занимался ревизией сгоревшего и сохранившегося имущества обители. Определением Синода от 5 декабря 1847 г. Богоявленский монастырь был упразднён, земельные угодья переданы Ипатиевскому монастырю, а братия переведена в Богородицко-Игрицкий монастырь.