21 июля 1951 г. Иоанн прибыл в Париж, проживал в Мёдоне при Воскресенском храме. Поскольку русские парижские храмы находились в юрисдикции Западноевропейского Экзархата русских приходов Константинопольского патриархата или Западноевропейского экзархата Русской православной церкви, официальной резиденцией Иоанна считался Брюссель, он титуловался как «архиепископ Брюссельский и Западноевропейский». Центром активной деятельности Иоанна был брюссельский храм во имя св. Иова Многострадального, заложенный в память царя Николая Александровича. В Брюсселе Иоанн, как правило, служил пасхальную службу. Значительную часть времени он проводил в окрестностях Парижа. В 1952 г. переехал из Мёдона в Версаль, жил при епархиальном управлении, размещённом в здании русского кадетского корпуса имени Николая II; был председателем попечительского совета кадетского корпуса. Часто бывал в Леснинском Богородицком женском монастыре в Фуркё, служил в Париже во временно арендуемых помещениях. В декабре 1961 г. Иоанн освятил парижскую церковь Всех святых, в земле Российской просиявших. Иоанн проводил много времени в архипастырских поездках по государствам Западной Европы, побывал в Тунисе. Окормляя прихожан, посещал лагеря перемещённых лиц, продолжая считать одной из главных своих забот помощь русским беженцам, а также устроение в храмах литургической жизни соответственно с канонами православия. Издал ряд распоряжений по вопросам богослужебной практики, к которой относился очень строго. Стремился содействовать единству русских православных Западной Европы, показал свою любовь к православным всех национальностей. Служил Божественную литургию по-французски, по-английски, по-нидерландски. Взял под свою опеку национальные православные общины во Франции и в Нидерландах, поощрял подготовку местных священнослужителей, издание богослужебной литературы на французском и нидерландском языках. Содействовал созданию Румынской православной зарубежной церкви под омофором митрополита Виссариона (Пую). Будучи представителем архиерейского Синода в Западной Европе, неоднократно созывал совещания православных архиереев РПЦЗ. При нём в епархии было восстановлено почитание западных святых, живших до разделения церквей на католическую и православную. По благословению Иоанна было создано братство «Православное дело», в задачи которого входили распространение православного учения и православных основ жизни и оказание помощи православным учреждениям. 4 декабря 1962 г. в связи с болезнью Сан-Францисского и Западноамериканского архиепископа Тихона (Троицкого; ум. 30 марта 1963 г.) прибыл в Сан-Франциско, был назначен временно управляющим епархией. Возглавил работу по завершению строительства сан-францисского кафедрального собора в честь иконы Божьей Матери «Всех скорбящих Радость».