Обретённый в 1483 г. по инициативе Тверского епископа Вассиана каменный гроб с нетленными мощами Арсения был поставлен в приделе Нерукотворного образа Спасителя Успенского храма. По преданию, этот гроб был выдолблен святителем. 2 марта 1654 г. патриарх Никон по пути из Валдайского Святоозерского в честь Иверской иконы Божьей Матери монастыря посетил Жёлтиков монастырь, освидетельствовал нетленные мощи святителя и благословил переоблачение их в новую мантию, схиму и омофор. В 1655 г. патриарх Никон по прошению Тверского архиепископа Лаврентия прислал в Жёлтиков монастырь деревянную раку, в которой из Соловецкого в честь Преображения Господня монастыря в Москву перевозили мощи Филиппа. 2 июля 1655 г. мощи были перенесены из церкви во имя преподобных Антония и Феодосия, где они временно пребывали с 1637 г., в Успенский собор монастыря и положены в раку, присланную патриархом Никоном. Старый каменный гроб оставался в церкви во имя преподобных Антония и Феодосия Киево-Печерских. Вторично мощи были перенесены в церковь во имя преподобных Антония и Феодосия в период строительства нового собора в 1713–1722 гг., затем возвращены в храм. В 1734 г., при архимандрите Мелетии, мощи были переложены в устроенную на средства тверичей новую серебряную раку (деревянная рака была передана в Отроч в честь Успения Пресвятой Богородицы монастырь). В 1784 г. на средства купцов И. и М. Янковских, В. Волчанинова была устроена новая кипарисовая, покрытая позолоченным серебром рака. На раке было восемь чеканных дробниц, на которых изображены события из жизни и посмертные чудеса святого. 19 июля 1830 г., согласно надписи, «устроенное на святой раке серебро перезолочено» на средства тверских купцов А.М. Коняева, П.Г. Коровина и др. Сень над ракой была позолочена в 1876 г. В 1884 г. на средства генеральши Ю.В. Смирновой, исцелившейся по молитвам святителю, изготовили кипарисовую крышку на раку, обложенную серебряными позолоченными досками. На лицевой стороне крышки выполнено рельефное ростовое изображение Арсения. В 1912 г. рака была реставрирована на средства анонимной петербургской благотворительницы. Согласно описаниям, на «внутреннюю схиму», покрывавшую мощи Арсения, в 1782 г. была положена «другая схима или правильнее большой парамант или воздух из чёрного бархата», украшенный жемчугом, алмазами, изображением Нерукотворного образа Спасителя, выполненным из финифти.