В 1870 г. назначен благочинным монастырей Карталинско-Кахетинской епархии, в 1874 г. – исполняющим обязанности смотрителя Тифлисского духовного училища. Но и на новом месте служения Иосиф поддерживал связь с Осетией. Так, в январе 1871 г. ему было поручено наблюдать за проповеднической деятельностью священников в регионе. В 1875 г. было учреждено Владикавказское викариатство в составе Грузинского экзархата. На место архиерея в октябре того же года был назначен Иосиф. 28 ноября в тифлисском Сионском соборе состоялось его наречение, а 30 ноября – хиротония во епископа, которую совершили экзарх Грузии архиепископ Евсевий, епископ Имеретинский Гавриил (Кикодзе) и епископ Горийский Александр (Окропиридзе). После прибытия в Осетию Иосиф сначала сам исполнял обязанности секретаря-письмоводителя. Продолжительное время проживал на съёмных квартирах, канцелярия также помещалась в арендуемом помещении. Средства на строительство собственных зданий были отпущены только в 1884–1885 гг. 13 июня 1877 г. Иосиф стал вице-президентом Владикавказского попечительского о тюрьмах комитета. С 27 апреля по 27 июня 1883 г., во время отъезда экзарха Грузии, Иосиф был назначен временным управляющим Карталинско-Кахетинской епархией и председателем Грузино-Имеретинской синодальной конторы. В 1885 г. Общество восстановления православного христианства на Кавказе было подчинено Синоду, что сказалось на эффективности взаимодействия общества с церковью и сыграло положительную роль в трудах Иосифа. В 1885 г. Владикавказское викариатство было преобразовано в епархию в составе Грузинского экзархата. К ней помимо приходов Северной Осетии были присоединены русские приходы Терской области, ранее относившиеся к Кавказской епархии. Новая епархия подчинялась Грузино-Имеретинской синодальной конторе на одинаковых основаниях с прочими епархиями Грузинского экзархата. 29 июня 1885 г. Иосиф был назначен правящим архиереем с титулом «епископ Владикавказский». При нём число храмов в епархии возросло со 122 до 136, во Владикавказе были выстроены Константино-Еленинская и Свято-Троицкая церкви. Иосиф вместе с экзархом Грузии архиепископом Палладием (Раевым) освятил Троицкую церковь 15 ноября 1887 г. После создания епархии Иосиф продолжил частые поездки по приходам, причём больше внимания уделял осетинским. Во время визитов, как вспоминали очевидцы, в общении с паствой был прост и доступен, интересовался местными традициями. Особое внимание по-прежнему уделял просвещению.