Хиротонию совершил Новгородский и Санкт-Петербургский митрополит Исидор (Никольский) в сослужении архиепископа Василия (Лужинского), Тульского епископа Никандра (Покровского), Кишинёвского епископа Павла (Лебедева), Выборгского епископа Тихона (Покровского). По должности викария Иустин управлял монастырём Святой Троицы в селе Дермань и приписанным к нему кременецким в честь Богоявления монастырём. Первоначально проживал в селе Дермань, с апреля 1873 г. – в городе Кременце. В 1875–1876 гг. Иустин временно управлял Волынской епархией. 23 апреля 1879 г. Иустин был назначен епископом Харьковским и Ахтырским. Здесь в полной мере раскрылись его административные способности. При нём был выстроен новый корпус Харьковской духовной семинарии, произведён капитальный ремонт зданий Харьковского духовного училища, увеличено ассигнование средств на епархиальное женское училище. На личные средства Иустин обустроил здание больницы при женском училище; положил основание епархиальному свечному заводу, содействовал открытию эмеритальной кассы для духовенства. За время пребывания на кафедре Иустин осмотрел большую часть церквей (437), причём посетил и те места, где архиереи не бывали по 30 лет. Причиной перевода Иустина с Харьковской кафедры стали конфликты с временным харьковским генерал-губернатором графом Михаилом Тариэловичем Лорис-Меликовым. На одном из совещаний Иустин открыто высказал неодобрение его деятельности и указал на необходимость проявлять больше внимания к нуждам православной церкви. 15 сентября 1882 г. Иустин был назначен епископом Подольским и Брацлавским. 10 октября того же года простился с харьковской паствой, 16 октября прибыл в Каменец-Подольск. В новой епархии Иустин совершал поездки ежегодно, в течение двух – трёх недель посещал свыше сотни приходов. Маршруты поездок публиковались в «Подольских епархиальных ведомостях». Архиерей обращал внимание на то, чтобы в этом издании преимущественно публиковались статьи о местной истории и очерки религиозно-бытовой жизни народа. 28 марта 1887 г. Иустин был переведён на Курскую и Белгородскую кафедру. 19 апреля того же года совершил последнюю литургию в каменецком кафедральном соборе, 23 апреля покинул город. В числе первых распоряжений Иустина в Курской епархии стал указ о введении в церквах «напева церковных песнопений, наиболее подходящего к духу православной церкви и сильнее располагающего умы и сердца молящихся в храме». Также для придания большего единообразия богослужебному пению рекомендовал приобрести для церковных библиотек нотные произведения. Курское епархиальное женское училище из трёхклассного было преобразовано в шестиклассное, Иустин содействовал открытию женских воскресных школ. По его инициативе при Курской духовной семинарии 10 марта 1891 г. было учреждено епархиальное братство во имя преподобного Феодосия Киево-Печерского для оказания материальной помощи местному духовенству в распространении и утверждении христианского просвещения и для защиты верующих от влияния старообрядцев и сектантов.