Обладавший прозорливостью преподобный не обличал за утаиваемые грехи, но увещевал исповедующегося до тех пор, пока тот не открывал тайного беззакония. В возрасте 70 лет Иосиф Песнописец, предвидя свою кончину, вернул патриарху Фотию опись патриаршей ризницы. После этого он слёг с жаром и через семь дней, 3 апреля (без указания года), преставился. От гроба Иосифа Песнописца исходило благоухание. В ночь, когда скончался святой, один подвижник, находившийся на значительном расстоянии, видел, как разверзлись небеса, и душа Иосифа Песнописца была вознесена в небесные обители. В кратком Житии Иосифа Песнописца в Синаксаре Константинопольской церкви содержится другой рассказ о вознесении души Иосифа Песнописца на небо. От одного из жителей Константинополя бежал раб, и хозяин, желая узнать, где тот скрывается, пришёл в церковь великомученика Феодора Тирона, прозванного Фанеротом (т.е. открывателем, т.к. приходящим с молитвой он открывал местонахождение пропавших вещей). Хозяин раба отслужил молебен и пробыл в церкви три дня и три ночи, но не получил откровения. За утреней, когда читалось душеполезное слово, он задремал, и ему явился великомученик Феодор и сказал, что не мог прийти раньше, поскольку сопровождал душу Иосифа Песнописца на небо вместе с другими святыми, которых преподобный почтил канонами и песнопениями. После этого великомученик указал местонахождение бежавшего раба. Долгое время годом смерти Иосифа Песнописца считали 883-й, когда Пасха праздновалась 31 марта. Эту дату предложил болландист Д. Папеброх на основании указания Жития о том, что Иосиф Песнописец слёг в постель после визита к патриарху в Страстную пятницу, а скончался через семь дней, 3 апреля. Однако, по мнению исследователей, если принять за дату смерти Иосифа Песнописца 3 апреля 883 г., то получается, что святой скончался не на седьмой, а на шестой день (включая Страстную пятницу и последний день жизни). К. ван дер Ворст считал более вероятной датой смерти Иосифа Песнописца 886 г., когда Пасха приходилась на 27 марта. По его трактовке житийного текста, болезнь преподобного началась после Пасхи, в Светлый понедельник. Тогда 3 апреля можно было бы точно считать седьмым днём болезни. В любом случае, по мнению исследователя, Иосиф Песнописец умер раньше смещения Фотия (которому Иосиф Песнописец передал дела) с патриаршей кафедры (декабрь 886 г.). Однако и эта дата вызывает у исследователей сомнения в связи с тем, что сочинением Иосифа Песнописца считается канон Феодоре Солунской, которая скончалась в 892 г. О мощах Иосифа Песнописца средневековые паломники не упоминают. По сведениям Никодима Святогорца, мощи Иосифа Песнописца находились в основанном им монастыре. В настоящее время часть мощей Иосифа Песнописца хранится в церкви св. Константина в районе Колонос в Афинах. В Минологии Василия II, Синаксаре Константинопольской церкви, Петровом Синаксаре, Синаксарях семейства D память и краткое Житие Иосифа Песнописца помещены в день его смерти – 3 апреля. Однако уже во многих агиографических памятниках Х–XI вв. память преподобного отмечена 4 апреля. Эта дата празднования утвердилась в современном календаре РПЦ.