В разгар греческого наступления в западной Малой Азии и сразу после взятия города Герман прибыл в Кютахья, где предложил греческому генералитету послать один полк морем в регион Понта, который вместе с местными партизанскими отрядами двинется в тыл Кемаля, в сторону Анкары. Но ответом штабиста генерала Виктора Дусманиса (1862–1949 гг.) было «ни одного солдата, тем более что через месяц я буду в Анкаре». Между тем кемалисты продолжали дело истребления христиан, начатое младотурками. Восемь месяцев находился в тюрьме города Амасья викарий Германа Платон (Айвазидис) с 69 священниками и старейшинами, но пока исход войны был неясен, турки не решались их казнить; как только греческая армия отошла от Анкары, все 70 были казнены. Одновременно Топал Осман-ага казнил 1500 человек из молодёжи Самсуна. Герман находился в Константинополе, на очередных патриарших выборах. Ожидалось, что в этот раз Герман наверняка станет патриархом, но его посетила делегация греческих офицеров «Национальной Обороны» с просьбой отступить в пользу Мелетия IV Метаксакиса, который с его знакомствами в США и Британии был крайне нужен для национального дела. Герман так писал об этом: «Моё избрание в 1921 году на Вселенский престол было несомненным. Из 17 голосов 16 было подано за меня. Тогда один из моих мирских друзей предложил мне 10 000 лир, если я откажусь от избрания в пользу Мелетия Метаксакиса. Естественно, я отверг это предложение с негодованием и отвращением. Однако ночью перед выборами меня неожиданно посетила делегация из трёх человек, членов «Лиги Национальной Обороны». Они стали горячо убеждать меня снять свою кандидатуру в пользу Мелетия Метаксакиса. Члены делегации сказали, что Мелетий имеет возможность внести 100 000 долларов на нужды Патриархии и, состоя в весьма дружеских отношениях с протестантскими епископами в Англии и Америке, может быть полезен в международных делах. Поэтому национальные интересы требуют, чтобы патриархом был избран Мелетий Метаксакис. Таково было и желание Елевферия Венизелоса. Я продумал над этим предложением всю ночь. В патриархии царил экономический хаос. Афинское правительство перестало посылать субсидии, а других доходов не было. Регулярное жалование не выдавали уже в течение девяти месяцев. Благотворительные организации патриархии находились в критическом материальном положении. По этим причинам и ради блага народа я принял это предложение…» Таким образом, на выборах в ноябре 1921 г. в очередной раз отступил от собственной кандидатуры и поддержал кандидатуру архиепископа Мелетия. В марте 1922 г. Герман был послан в Белград для вручения томоса новых сербских провинций и признания митрополита Белградского Димитрия (Павловича) Сербским патриархом. С мая по октябрь Герман по делам патриархата находился в Бухаресте, а затем снова в Белграде. Между тем кемалисты вошли в Константинополь, и Герман был приговорён заочно к смертной казни. Не получив гарантий о его жизни от Антанты, Священный Синод избрал его митрополитом города Янина, когда его корабль был ещё в пути к Константинополю. Когда судно причалило, секретарь Синода не разрешил ему сойти и вручил письмо патриарха и документы нового назначения. С присущей ему энергией Герман начал свою деятельность в Эпире, создал школу ковроткачества в Янина, освободив для этой цели городские казармы и задействовав в школе женщин – беженок из Малой Азии. Одновременно подготовил два, почти пустующих, монастыря соответственно под школы земледелия и шелководства. Но уже через год, в апреле 1924 г., он узнал что патриархат избрал его митрополитом Венгрии, где фактически не было прихода. Но осознав проблему, патриархат создал новую экзархию Центральной Европы и послал Германа в Вену, «в ссылку», как он сам говорил. Здесь «в ссылке» и в крайней бедности Германос Каравангелис умер 11 февраля 1935 г. Его мемуары о борьбе за Македонию были изданы «Обществом Македонских исследований» в 1959 г. В том же году «Общество» и «Фонд исследований полуострова Хемус (Балкан)» финансировали перезахоронение его останков, которые с почётом были привезены сначала в Фессалоники, а затем в Касторью, где они и были помещены в крипте под его памятником.