Константинопольский патриарх Афинагор I направил новому Афинскому архиепископу поздравления и делегацию иерархов, демонстрируя свою поддержку. 24 января 1962 г. совещание правительства заявило о намерении утвердить новый устав («Уставную хартию») ЭПЦ с внесением параграфа об отстранении архиепископа в случае протеста общественности против его личности. Одной из причин негативного отношения к Иакову премьер-министра Костаса Караманлиса считается разработанный Иаковом проект учреждения церковного банка, создание которого нанесло бы значительный урон Национальному банку, где хранились капиталы ЭПЦ. В придворных кругах, в свою очередь, добивались избрания архиепископом духовника королевской семьи архимандрита Иеронима (Коцониса; впоследствии архиепископ Афинский Иероним I). 25 января 1962 г. Иаков заявил о своей отставке, несмотря на советы Иерусалимского патриарха Венедикта I и некоторых греческих иерархов не поддаваться давлению. Иаков возвратился к управлению Аттикийской и Мегарской митрополией. Синодальный суд, рассмотрев иски против Иакова и допросив 70 свидетелей, отклонил обвинения в адрес Иакова. После установления в Греции военной диктатуры (21 апреля 1967 г.) генерал-лейтенант Георгиос Спандидакис предложил Иакову оставить митрополию, на что тот ответил категорическим отказом. С этого момента он был взят под надзор, а затем заключён в один из монастырей. В 1973 г., после свержения правительства Георгиоса Пападопулоса и ухода в отставку Афинского архиепископа Иеронима I, Иакова посетил находившийся с ним в дружеских отношениях Янинский митрополит Серафим (Тикас), прося его поддержать выдвижение своей кандидатуры на архиепископских выборах. Иаков дал ему наставления по выходу из церковного кризиса. Избрание Серафима архиепископом дало Иакову надежду на возвращение к управлению митрополией, однако этому воспрепятствовали военные, которые ещё сохраняли власть в стране. После свержения хунты Иаков апеллировал к Священному Синоду, однако, несмотря на признание противозаконности смещения его с поста митрополита, он не был возвращён к управлению епархией. Последние годы жизни Иаков провёл в монастыре Пресвятой Богородицы Фанеромени на острове Саламин, где и был похоронен.