В 1861 г. Общество восстановления православного христианства на Кавказе попыталось решить вопрос кадрового дефицита через привлечение духовенства из других губерний. Однако сложные условия жизни в горах и сравнительно невысокий уровень дохода приводили к тому, что священники, особенно имевшие хорошее образование, не задерживались в епархии. Иосиф видел выход из ситуации в пополнении штата клириков местными жителями, при нём священнические вакансии стали занимать осетины – выпускники Тифлисской духовной семинарии. Особое значение он придавал проповедям священнослужителей за богослужением, а также народному просвещению. В 1857 г. в Северной Осетии существовала всего одна церковноприходская школа в Алагире. В 1862 г. во Владикавказе священником Алексием Виссарионовичем Колиевым была организована частная школа для девочек. Вскоре попечением Иосифа она была преобразована в трёхклассное женское училище, принята под покровительство великой княгини Ольги Фёдоровны и получила отдельное здание. С 3 октября 1884 г. Иосиф, уже в сане епископа, был её попечителем. Он составил план открытия новых школ, оформив необходимую для этого документацию и подобрав кандидатов в учителя. В этом направлении действовало и Общество восстановления православного христианства на Кавказе. В результате в 1863 г. в регионе было уже 13 школ с 250 учащимися, в 1865 г. – 20 школ с 294 учениками, в 1867 г. – 30 школ с 542 учениками. В 1866 г. из-за увеличения количества школ все они были переданы в ведение специальной инспекции. Лучшие выпускники за счёт Общества восстановления православного христианства на Кавказе поступали в средние и высшие учебные заведения, преимущественно духовные. После окончания обучения они должны были вернуться служить в Осетию; из них формировалась православная осетинская интеллигенция. Иосиф предлагал открыть «учебный монастырь» для образования причётников, но эта идея не была реализована. Закрытие в 1864 г. Владикавказского духовного училища Иосиф считал «горестной ошибкой» властей. В 1868 г. Иосиф подал прошение об увольнении. Причинами послужили негативное отношение к нему части осетинского общества, материальная нужда, а также то, что он не мог уделять достаточно внимания воспитанию детей, которые остались на его попечении после смерти жены. 10 марта 1869 г. он был назначен настоятелем тифлисского в честь Преображения Господня монастыря и членом Грузино-Имеретинской синодальной конторы. В том же году Иосиф был принят в Общество восстановления православного христианства на Кавказе (с 18 ноября 1880 г. – пожизненный член по второму разряду) и в Общество попечения о бедных духовного звания.