29 марта 1851 г. Елпидифор был переведён на более низкую по значимости Вятскую и Слободскую кафедру. Елпидифор способствовал учреждению монастырей в южных уездах Вятской губернии, населённых преимущественно марийцами, многие из которых были язычниками. По его благословению был разрушен жертвенник марийскому божеству Кереметю на берегу реки Немда. В 1856 г. при Елпидифоре был основан елабужский в честь Казанской иконы Божьей Матери женский монастырь. С мая 1859 г. Елпидифор – присутствующий в Святейшем Синоде. 7 января 1860 г. возглавил новооткрывшуюся Таврическую епархию, возведён в сан архиепископа. Из-за болезни выехать в епархию не смог и 25 мая того же года был уволен на покой. По благословению Санкт-Петербургского митрополита Григория (Постникова) поселился на временное жительство в Александро-Невской лавре. По завещанию Елпидифор передал свою библиотеку (671 том) Симферопольской духовной семинарии, а архиерейское облачение – в церковь родного села Ярославской губернии. Современники характеризовали Елпидифора как высокообразованного проповедника, обладавшего ораторским талантом, доброго архипастыря. Особенно отмечались его труды в «деле образования духовного юношества». Поучения Елпидифора печатались в журналах «Духовная беседа», «Воскресное чтение», «Христианское чтение» (впоследствии были опубликованы в сборнике). Награждён орденом св. Анны второй (18 апреля 1836 г.), первой степени (5 апреля 1846 г.), орденом св. Владимира второй степени (23 марта 1859 г.), бронзовым наперсным крестом в память о войне 1853–1856 гг. Погребён в Феодоровской церкви Александро-Невской лавры у правого клироса на солее рядом с захоронением архиепископа Игнатия (Семёнова). Чин погребения совершили Санкт-Петербургский митрополит Григорий (Постников), Херсонский и Одесский архиепископ Димитрий (Муретов), Выборгский епископ и ректор Санкт-Петербургской духовной академии Нектарий (Надеждин), Ревельский епископ Леонтий (Лебединский). К началу 2008 г. Феодоровская церковь реставрировалась, захоронение Елпидифора сохранилось. На портрете середины XIX в. из архиерейского дома в Каменце Елпидифор представлен вполоборота влево, в рясе и клобуке, с панагией, орденом и звездой св. Анны. У него длинные пряди волос на плечах и небольшая редкая бородка, правая рука на книге, в левой чётки.