В сражении под его стенами турки уничтожили войска Иоанна V Палеолога и союзные ему отряды сербов (конец 1352 г.). В качестве условий мира Иоанн VI Кантакузин потребовал от Иоанна V Палеолога сдать Дидимотих и отказаться от своего удела, но Иоанн V Палеолог бежал на остров Тенедос и продолжил борьбу. В апреле 1353 г. Иоанн VI Кантакузин отстранил Иоанна V Палеолога от наследования престола и провозгласил соправителем и наследником сына Матфея, несмотря на протесты сторонников Палеологов во главе с патриархом. Воспользовавшись отъездом Иоанна VI Кантакузина, Иоанн V Палеолог попытался овладеть Константинополем, но потерпел неудачу и укрылся в Галате под защитой генуэзцев. Весной 1354 г. землетрясение разрушило город Каллиполь (Галлиполи, ныне Гелиболу, Турция), который был занят и заселён османами, превратившими его в базу для дальнейших завоеваний в Европе. Иоанн VI Кантакузин не смог противостоять экспансии прежних главных союзников и быстро потерял популярность. На сторону Иоанна V Палеолога перешли острова Эгейского моря; карательная экспедиция сил Иоанна VI Кантакузина на Тенедос провалилась. 29 ноября 1354 г. Иоанн V Палеолог на генуэзском судне прибыл в Константинополь и возглавил восстание против тестя. 10 декабря 1354 г. после недолгого сопротивления Иоанн VI Кантакузин отрёкся от престола и удалился в монастырь. Его сын и соправитель Матфей не хотел отказываться от императорского титула, некоторое время оборонялся в Родопских горах во Фракии, но в 1356 г. попал в плен к сербам, был выдан Иоанну V Палеологу и в декабре 1357 г. также отрёкся от престола. Лишь Мануил Кантакузин, правивший в Морейском деспотате (Пелопоннес) почти независимо от Константинополя, сумел удержать свои позиции и, отразив посланные против него войска, был официально признан в качестве наместника. Став единодержавным императором, Иоанн V Палеолог был вынужден продолжить курс Иоанна VI Кантакузина на неравноправный союз с османами. В 1359 г. его дочь Ирина была выдана замуж за Халила, сына Орхана и Феодоры Кантакузины. Обессиленная междоусобицами Византия превратилась в слабое государство, неспособное отстоять свой суверенитет. В 1361 г. османы, развивая наступление во Фракии, заняли Дидимотих и перенесли туда столицу; через несколько лет султан Мурад I сделал своей новой резиденцией Адрианополь. В конце 1360 гг. Константинополь со всех сторон был окружён турецкими владениями, у Византии оставалась надежда только на помощь Запада, в обществе усилились латинофильские настроения. В поисках союзников в 1366 г. Иоанн V Палеолог решил отправиться в Венгрию.