После возвращения Иосифа Вриенния Византию его карьера пошла на спад. Правда, он всегда тяготился своим общественным служением. Из Студийского монастыря Иосиф Вриенний писал, что по собственному желанию никогда не станет «ни епископом, ни священником, ни игуменом» (Письмо Иоанну Сирианину), хотя, как полагают исследователи, будучи на Крите, он уже был иеромонахом, поскольку имел должность иерокирикса (священнопроповедника). Однако вскоре Иосиф Вриенний снова занимает место придворного проповедника и вселенского дидаскала, начинает свою педагогическую деятельность. Его учениками были, в частности, будущий святитель Марк Евгеник, будущий Константинопольский патриарх Геннадий II Схоларий и Сильвестр Сиропул. С 1416 г. Иосиф Вриенний, находясь в монастыре Харсианит, участвует в богословских дискуссиях, связанных с возобновившимися переговорами о заключении унии с латинянами. Его позиция была довольно жёсткой, насколько исследователи могут судить по «Совещательному слову о единении Церквей», произнесённому весной или летом 1422 г. перед императором Мануилом II Палеологом. Пользу от унии (т.е. военную помощь от Запада) он считал сомнительной и маловероятной, а истинное объединение, по его мнению, могло произойти только в случае отречения латинян от еретических догматов (речь шла, прежде всего, о Filioque и об употреблении опресноков) и исповедания православной веры. Иосиф Вриенний в соответствии с распространённым в поздневизантийском богословии тезисом предлагал латинянам заменить в Символе веры предлог «и» предлогом «через»: «И в Духа Святаго от Отца через Сына исходящего». В 1420–1421 гг. Иосиф Вриенний произнёс в дворцовой церкви Христа Спасителя или в церкви Двенадцати апостолов 21 проповедь о Пресвятой Троице. Проповеди носят полемический характер, в них опровергается учение латинян об исхождении Святого Духа. Эти проповеди, представляющие собой единое целое, являются самым значительным и обширным богословским сочинением Иосифа Вриенния. Он оставался в монастыре Харсианит ещё в 1425 г., когда император Мануил II Палеолог выбрал его в качестве одного из исполнителей своего завещания. Иосиф Вриенний и после смерти Мануила участвовал в переговорах о проведении унионального Собора (например, в 1431 г.) и противостоял проуниатской политике Иоанна VIII Палеолога. Ко времени Ферраро-Флорентийского Собора Иосиф Вриенний уже скончался. Марк Эфесский сочинил хвалебную эпитафию для надгробия Иосифа Вриенния в монастыре Харсианит.