30 апреля 1894 г., уже при Тобольском епископе Агафангеле (Преображенском), Синод разрешил «открыть православную миссию среди киргиз, населяющих Тобольскую епархию». В 1893 г. Иустин по болезни подал прошение об увольнении на покой. «Постигла меня болезнь-плеврит от простуды на Пасхе, – писал Иустин в записках. – Болезнь действительно была невыносимо северная, так что я лишился было и пищи, и сна, и 100 дней сидел в кресле, отплевываясь от плеврита. Не видя конца болезни, я вынужден был просить увольнения от должности…» 17 июля 1893 г. Иустин был уволен на покой и назначен управляющим раненбургской Петропавловской пустынью в Рязанской губернии на правах настоятеля. 17 августа 1893 г. отбыл из Тобольска. Стараниями Иустина в Петропавловской пустыни были отремонтированы тёплый собор св. Иоанна Предтечи и холодный собор апостолов Петра и Павла. В 40 км от обители Иустин устроил Вознесенский скит с дубовой церкви в честь Вознесения Господня и с домом настоятеля. «После бурного моря Тобольского, которое едва не разбило моей утлой ладьи вдребезги, жил я в тихой пристани Раненбургской пустыни и наслаждался мирным и спокойным состоянием духа и сердца», – писал Иустин. 10 декабря 1894 г. Иустин возглавил Рязанскую и Зарайскую епархию, 22 декабря прибыл в Рязань; после встречи в кафедральном соборе помолился в Архангельском соборе Рязанского кремля, у места захоронения своего предшественника архиепископа Феоктиста (Попова). Этот древний собор был некрополем Рязанских архипастырей. При Иустине значительно оживилась деятельность братства во имя святителя Василия, епископа Рязанского, учреждённого при Рязанской архиерейской кафедре ещё в 1878 г. с миссионерскими целями. Братство состояло под покровительством епархиального архиерея и начальника губернии, которые оказывали ему всестороннюю поддержку. Членом братства мог стать каждый желающий, но настоятели и настоятельницы монастырей были обязаны состоять в его рядах. Деятельность братства была обширна – от собирания сведений о религиозно-нравственном состоянии населения до содействия церковной проповеди. Братство распространяло Евангелия, книги духовного содержания, приобретало и издавало противосектантские книги и брошюры, покупало старопечатные и старописаные книги, сочинения, написанные раскольниками, и т.д. Иустин способствовал открытию при братстве типографии, библиотеки и книжного склада, которые располагались при Рязанском духовном училище, а позже были переведены в кремль, в здание духовной консистории. За заслуги по духовному ведомству 5 мая 1895 г. Иустин был награждён орденом св. князя Владимира второй степени. 20–22 сентября 1895 г., в период пребывания Иустина на Рязанской кафедре, состоялось грандиозное празднование 800-летнего юбилея города Рязани и 600-летия со дня преставления Василия Рязанского.