В июне 1961 г. участвовал в организованном Христианской мирной конференцией (ХМК) первом Всемирном общехристианском конгрессе в защиту мира в Праге, вошёл в числе других православных архиереев РПЦ в совещательный комитет ХМК. Делал доклад о конгрессе на архиерейском Соборе РПЦ 18 июля 1961 г. 22 августа того же года возведён в сан архиепископа. В декабре 1961 г. был в составе делегации Московского патриархата на третьей Генеральной ассамблее Всемирного Совета Церквей (ВСЦ) в Дели. В связи с присоединением РПЦ к ВСЦ сказал, обращаясь к делегатам ассамблеи: «Мы не приносим вам иную, чуждую вам Веру; мы вносим во ВСЦ исконную Веру неразделённой Церкви, от которой вы частично отошли, но которая принадлежит вам по праву». 16 июня 1962 г. назначен архиепископом Алеутским и Североамериканским, экзархом Северной и Южной Америки с местопребыванием в Нью-Йорке. С 22 февраля 1963 г. носил титул архиепископа Нью-Йоркского и Алеутского. 3 августа того же года возведён в сан митрополита. Совершил много пастырских поездок по США и Канаде, посещал страны Южной Америки. Участвовал в судебных процессах, отстаивая права Московского патриархата на церковную собственность. Во многом благодаря усилиям Иоанна удалось сохранить в юрисдикции Московского патриархата кафедральный Николаевский собор в Нью-Йорке. За время пребывания в США освятил семь новых храмов. Жил аскетично. Собирал материалы о деятельности на Алеутских островах Московского митрополита Иннокентия (Вениаминова), которого очень почитал. Иоанн написал сценарий к документальному фильму «Митрополит Иннокентий – миссионер русской Америки». Труды Иоанна способствовали канонизации Иннокентия в 1977 г. После прошения о переводе на родину назначен 7 октября 1967 г. митрополитом Ярославским и Ростовским. Продолжал активно участвовать в международной и межконфессиональной деятельности, в мероприятиях по сохранению мира. 20 марта 1969 г. был включён в состав Комиссии Священного Синода по вопросам христианского единства. В том же году стал членом делегации Синода на конференции представителей всех религий в СССР «За сотрудничество и мир между народами». За первые годы служения на Ярославской кафедре посетил все приходы епархии. Был талантливым проповедником, его проповеди собирали и записывали духовные чада. Несколько раз проповеди Иоанна, как образцовые, печатались в «Журнале Московской Патриархии». В условиях, когда светские власти проводили мероприятия по стеснению церкви, Иоанн старался сохранить все действующие храмы. Заботился о том, чтобы дальние приходы не оставались без священников. Всего за время архипастырского служения в Ярославской епархии рукоположил 82 иерея; принимал в епархию священников, удалённых под давлением властей из других мест. Допускал негласные рукоположения священников. Тайно рукоположил во диакона и во иерея редактора «Журнала Московской Патриархии» Николая Иванова, а также доктора геологических наук Глеба Каледу.