Покидая патриаршую кафедру, Афанасий написал отлучение на царское семейство, архиереев, клириков и простой народ и спрятал грамоту в трещине стены собора Святой Софии, где она была найдена спустя год и вызвала большое волнение в столице. Находясь в обители, Афанасий сохранил свое влияние на императора, который через 10 лет вновь призвал его на патриаршую кафедру. Поводом к тому послужило сбывшееся предсказание Афанасия о землетрясении. Вновь заняв патриарший престол, Афанасий продолжил свои преобразования, развил широкую благотворительную деятельность, особенно во время голода. Он стремился усилить значение монашества в жизни церкви и общества, старался поднять значение патриархата в общественном строе империи. Его антилатинская позиция повлияла на внешнюю политику Восточной Римской империи, приведя к ограничению контактов с римско-католическим Западом. Одновременно патриарх поддерживал живую связь с Русью. В июне 1308 г. им был поставлен в митрополиты всея Руси святитель Петр. В 1309 г. патриарх отправил к нему посланца в связи с ложным доносом, посланным на русского митрополита Тверским епископом Андреем. Патриарх повелел рассмотреть на Соборе Русской митрополии дело по обвинению святителя Петра в симонии и благословении неканонических браков. И вновь из-за начавшегося недовольства, не желая быть причиной церковной смуты, святой Афанасий в сентябре 1309 г. оставил управление церковью и ушел в Ксиролофскую обитель, всецело посвятив себя иноческим подвигам. К концу жизни он вновь удостоился видеть Христа: Господь укорял его, что свой пастырский долг Афанасий исполнил не до конца. Обливаясь слезами, святой покаялся в своем малодушии и получил от Господа прощение и дар чудотворения. Преставился Афанасий в 1315 г., в Константинопольском Ксиролофском монастыре. Известны два жития святителя, написанные в XIV в.: Феоктиста Студита и Иосифа Калофета. В XVII в. жития дважды перерабатывались – Агапием Ландом и Игнатием с Хиоса, иноком монастыря Дионисиу. Сохранилось около 180 писем святителя, часть которых опубликована. Память 24 октября.