В феврале 1932 г. Иоанн был назначен благочинным русских приходов в Германии, которые находились в юрисдикции Западноевропейского экзархата. С 1 апреля того же года стал настоятелем Свято-Владимирского храма в Берлине. В это время русская диаспора увлекалась оккультными науками, Иоанн объяснял прихожанам несовместимость православия с ложными учениями, прочитал цикл лекций с критикой эзотерических взглядов, веры в переселение душ, перевоплощение и др. Активно вёл миссионерскую деятельность, издавал миссионерский бюллетень «За Церковь: Борьба (затем «Бюллетень борьбы») за православное духовное восстановление» (Берлин, 1932–1936 гг.), печатал проповеди, беседы, избранные тексты из творений св. отцов и другую православную литературу. Часто ездил с проповедями по Европе, совершал поездки с лекциями в Латвию и Эстонию. В 1935 г. был возведён в сан игумена, в 1937 г. – в сан архимандрита. В 1937 г., во время гражданской войны в Испании, Иоанн посещал с целью пастырского окормления русских добровольцев, служивших в армии генерала Франсиско Франко. С конца 1930 гг. немецкие власти негативно относились к деятельности православных приходов Западноевропейского экзархата в Германии, считали их недостаточно лояльными к нацизму. Иоанна неоднократно вызывали на допросы в гестапо. Под давлением немецких властей он был вынужден перейти в юрисдикцию Берлинского епископа Серафима (Ляде), с 1942 г. входил в состав епархиального совета Германской епархии РПЦЗ. В начале 1941 г. Иоанн, несмотря на запрещение властей, издал в Лейпциге полный текст Библии, а также Нового Завета и Евангелия от Марка, сославшись на то, что это необходимо для богослужений. С началом Великой Отечественной войны Иоанн решил, что немецкая оккупация СССР положит конец коммунистическому режиму, и выступил с соответствующими заявлениями, но позже он изменил точку зрения. В своём приходе организовал общину сестёр милосердия, детский приют, амбулаторию, сбор и отправку тёплых вещей на оккупированные территории. Тайно от нацистских властей в Россию пересылались свечи, иконы, крестики, вино для причастия, православная литература. По воскресеньям в Свято-Владимирском храме совершались венчания – до 25 пар и крещения – до 80 человек за день. Также Иоанн часто проводил отпевания умерших советских военнопленных и депортированных на работы в Германию, которых, как правило, хоронили в общих могилах.