Впервые в истории Византии император покидал страну, отправляясь в опасное заграничное путешествие. Однако переговоры с королём Лайошем I не дали определённых результатов. На обратном пути в Видине (Бдине) Иоанн V Палеолог попал в плен к болгарам. Исследователи не исключают, что болгарский царь Иоанн Александр действовал в интересах сына Иоанна V Палеолога Андроника IV, своего зятя, который в отсутствие Иоанна V Палеолога управлял империей. На помощь Иоанну V Палеологу неожиданно пришла армия крестоносцев во главе с его двоюродным братом, герцогом Савойским Амедеем VI. Крестоносцы освободили Иоанна V Палеолога и помогли отбить у турок Галлиполи, а у болгар – Месемврию и Созополь, впрочем ненадолго. Перед возвращением в Италию Амедей Савойский уговорил Иоанна V Палеолога просить помощи у Римского престола, однако решительный протест византийского духовенства во главе с Константинопольским патриархом Филофеем исключил возможность возобновления переговоров об унии церквей. Летом 1369 г. Иоанн V Палеолог отправился в Рим в сопровождении только светских сановников. 18 октября он официально присоединился к Римско-католической церкви, получив благословение папы Урбана V, но это было личное решение Иоанна V Палеолога, которое не имело военно-политических последствий. Когда на обратном пути Иоанн V Палеолог проезжал через Венецию, венецианское правительство отказало ему в кредите, требуя в обмен на деньги передать владение островом Тенедос. Однако регент Андроник IV категорически отказался выполнить это требование, обрекая отца на арест в Венеции за долги (1370–1371 гг.). На помощь Иоанну V Палеологу пришёл его второй сын Мануил, правивший в Фессалонике. В октябре 1371 г. Иоанн V Палеолог вернулся в Константинополь, не добившись помощи от Запада. К этому времени турки закрепили своё господство на Балканах, разгромив в битве на реке Марице сербское войско (26 сентября 1371 г.), Сербия стала вассалом османов. Византия была вынуждена выплачивать туркам большую дань. Весной 1373 г. Иоанн V Палеолог в качестве вассала султана лично командовал вспомогательными войсками во время похода Мурада I против восставших сельджукских эмиратов в Анатолии. Воспользовавшись отлучкой султана и императора, их сыновья Савджи-челеби и Андроник IV заключили союз и подняли мятеж против отцов. Мурад победил и жестоко покарал своего сына; Андроник также был схвачен и ослеплён (один глаз сохранился), но вскоре сумел бежать в генуэзскую Галату. Вскоре при помощи генуэзцев и сербов Андроник IV захватил власть в Константинополе и правил в 1376–1379 гг. Иоанн V Палеолог и его второй сын Мануил, назначенный наследником вместо мятежного брата, были брошены в тюрьму.