В конце 808 г. монастырь был окружён войсками, Иосиф, Феодор и ещё два монаха заключены в монастырь св. Сергия. В январе 809 г. состоялся Собор, на котором Иосиф был низведён до пресвитера, по мнению исследователей, согласно правилу 20 Трулльского собора, на том основании, что он служил литургию в Студийском монастыре, т.е. в чужой епархии, без ведома правящего архиерея. В том же месяце Иосифа сослали на остров Проти. Как и прочие сосланные студиты, он был возвращён из ссылки незадолго до похода императора Никифора на болгар летом 811 г. После вступления на престол императора Михаила I, в октябре того же года, состоялось официальное примирение патриарха со студитами, Иосиф вернулся на свою кафедру. В конце 814 г. он находился в Константинополе (исследователи полагают, что был вызван патриархом Никифором в связи с иконоборческими настроениями императора Льва V) и принял участие в Соборе 24 декабря, который лишил сана и предал анафеме вождей иконоборцев, в том числе епископа Силлейского Антония Кассимату. Участники Собора также подписали обязательство хранить верность православию. В апреле 815 г. иконоборческий Собор низложил Иосифа. Его преемника звали, как полагают исследователи, Иоанн. Вначале Иосиф некоторое время жил в Саккудийском монастыре вместе с Навкратием Студитом (впоследствии Студийский игумен) и другими студийскими монахами, но затем был арестован и содержался под стражей в разных местах, названия которых исследователям неизвестны. К началу 821 г., когда император Михаил II освободил всех ссыльных, Иосиф находился в крепости Элпизон. Между 821 и 826 гг. он, по мнению исследователей, жил в Малой Азии (фемы Фракисий, а затем Опсикий, в окрестностях Константинополя) вместе с Феодором, Навкратием и другими студитами. 29 апреля 824 г. Иосиф присутствовал при перенесении тела Никиты Мидикийского в его монастырь. После смерти Феодора в 826 г. Иосиф оставался одним из самых авторитетных православных исповедников. При императоре Феофиле (829–842 гг.) Иосиф был арестован (как утверждает патриарх Мефодий в Житии Евфимия Сардского, обвинение заключалось в том, что Иосифа, как и Евфимия, регулярно посещали высокопоставленные сановники). Во всяком случае Иосиф подвергся преследованиям ещё до возобновления гонений на иконопочитателей в 832/833 г., поскольку умер в июле 832 г., перед тем «проведя в заключении немалое время». Заметка о смерти Иосифа сохранилась в записи Николая Студита, которую он оставил в переписанном им в 835 г. Четвероевангелии (Российская национальная библиотека, так называемое Четвероевангелии Успенского). Последним местом ссылки Иосифа стала Фессалия.