В том же месяце Иосифа сослали на остров Проти. Как и прочие сосланные студиты, он был возвращён из ссылки незадолго до похода императора Никифора на болгар летом 811 г. После вступления на престол императора Михаила I, в октябре того же года, состоялось официальное примирение патриарха со студитами, Иосиф вернулся на свою кафедру. В конце 814 г. он находился в Константинополе (возможно, был вызван патриархом Никифором в связи с иконоборческими настроениями императора Льва V) и принял участие в Соборе 24 декабря, который лишил сана и предал анафеме вождей иконоборцев, в том числе Силлейского епископа Антония Кассимату. Участники Собора также подписали обязательство хранить верность православию. В апреле 815 г. иконоборческий Собор низложил Иосифа. Его преемника звали, как полагают исследователи, Иоанн. Вначале Иосиф некоторое время жил в Саккудийском монастыре вместе с исповедником Навкратием Студитом (впоследствии игумен Студийский) и другими студийскими монахами, но затем был арестован и содержался под стражей в разных местах, названия которых исследователям неизвестны. К началу 821 г., когда император Михаил II освободил всех ссыльных, Иосиф находился в крепости Элпизон. Между 821 и 826 гг. он, как полагают исследователи, жил в Малой Азии (фемы Фракисий, а затем Опсикий, в окрестностях Константинополя) вместе с Феодором, Навкратием и другими студитами. 29 апреля 824 г. Иосиф присутствовал при перенесении тела преподобного и исповедника Никиты Мидикийского в его монастырь. После смерти преподобного Феодора в 826 г. Иосиф оставался одним из самых авторитетных православных исповедников. При императоре Феофиле (829–842 гг.) Иосиф был арестован, как утверждает патриарх Мефодий в Житии Евфимия Сардского, обвинение заключалось в том, что Иосифа (как и Евфимия) регулярно посещали высокопоставленные сановники. Во всяком случае, Иосиф подвергся преследованиям ещё до возобновления гонений на иконопочитателей в 832/833 г., поскольку он умер в июле 832 г., перед тем «проведя в заключении немалое время». Заметка о смерти Иосифа сохранилась в записи Николая Студита, которую он оставил в переписанном им в 835 г. Четвероевангелии (Российская национальная библиотека, так называемого Четвероевангелии Успенского). Последним местом ссылки Иосифа стала Фессалия. После кончины тело архиепископа бросили в некое «заросшее и влажное место», где через несколько лет его мощи собрали Навкратий и Афанасий (впоследствии игумен Саккудийского монастыря). После восстановления иконопочитания в 843 г. мощи Иосифа и Феодора были доставлены в Константинополь и 26 января 844 г. торжественно погребены в храме Иоанна Предтечи Студийского монастыря рядом с могилой преподобного Платона.