В октябре 1959 г. Иоанн возглавил делегацию в ФРГ для проведения встречи с представителями евангелических церквей. Иоанн просил освободить его от управления Берлинской епархией, т.к., не имея высшего богословского образования, мог не справиться с назначением. 21 июня 1960 г. освобождён от управления Берлинской епархией, определён быть епископом Псковским и Порховским. 8 октября 1960 г. принял участие в торжествах в честь Сергия Радонежского в Троице-Сергиевой лавре. 25 февраля 1962 г. возведён в сан архиепископа. 11 мая 1963 г. награждён правом ношения креста на клобуке. В 1967 г. Иоанн с группой паломников посетил Святую землю. 22 мая 1968 г. возглавил празднование 400-летия со дня освящения надвратного храма во имя Николая Чудотворца в Псково-Печерском монастыре. К празднику были закончены реставрационные работы Корнилиевских стен и капитальный ремонт Николаевской церкви. Иоанн был участником поместного Собора РПЦ 1971 г. Возведён в сан митрополита 9 сентября 1972 г. В епархии пользовался авторитетом у клириков и мирян, строго следил за исполнением церковного устава, но снисходительно относился к провинившимся, отличался щедростью к нуждающимся. Во время управления Иоанном Псковской епархией заметно усилилось влияние старчества на верующих. В Псково-Печерском монастыре подвизались иеросхимонах Симеон (Желнин), архимандрит Иоанн (Крестьянскин), архимандрит Агапий (Агапов), архимандрит Пимен (Гавриленко) и др. После Великой Отечественной войны в монастыре поселились старцы Валаамского монастыря, которых увезли перед войной в Финляндию, – иеросхимонах Михаил (Питкевич), иеросхимонах Лука (Земсков) и др. Несмотря на противодействие со стороны уполномоченного Совета по делам религий, Иоанн предпринимал действия по увеличению штата духовенства: подбирал церковнослужителей из верующих своей епархии, принимал священников из других епархий, обращался в Учебный комитет при Священном Синоде с просьбами о направлении окончивших духовные учебные заведения в Псковскую епархию. Во время служения Иоанна епархию, в том числе Псково-Печерский монастырь, ежегодно посещали многочисленные зарубежные церковные делегации и паломники. Иоанн был награждён орденами РПЦ св. Владимира первой степени (17 октября 1983 г.), Сергия Радонежского второй степени (11 апреля 1980 г.), а также правом ношения двух панагий (2 сентября 1977 г.) и именной панагии. Награждён медалями «За оборону Москвы» и «За доблестный труд в Великой Отечественной войне 1941–1945 гг.». 12 мая 1987 г. уволен на покой по болезни, проживал в епархиальном доме в Пскове. 15 января 1990 г. отпевание Иоанна совершил Псковский и Порховский архиепископ Владимир (Котляров; впоследствии митрополит); похоронен на Дмитриевском кладбище Пскова.