На месте первоначального погребения святого на берегу Мсты существовал колодец с целебной водой, над которым была устроена деревянная церковь в честь иконы Божьей Матери «Умиление». В 1806 г. церковь сгорела. В 1832 г. над колодцем возвели деревянную часовню, перестроенную в камне в 1871 г. Десять лет спустя на месте часовни воздвигли церковь в честь иконы Божьей Матери «Умиление», в храме хранилась часть гробовой колоды Иакова. Чудотворения, связанные с Иаковом, продолжались на Новгородской земле и в XIX в. Автор «Описания боровичского Свято-Духова монастыря с его окрестностями» (СПб., 1865 г.) записал два чуда, связанные с обнаружением кладов по молитвам к Иакову. В ноябре 1863 г. боровичскому крестьянину явился «светловидный юноша» и указал на зарытый в земле клад – бочку с серебром и золотом, которую крестьянин привёз затем в Боровичскую обитель. В том же году бедняк Тимофей Семёнов из деревни Новоселицы обнаружил кувшин со старинными серебряными монетами и слитками, что спасло его от разорения. В 1919 г. Иверский монастырь был преобразован в трудовую артель, в 1927 г. закрыт. 1 февраля (или 30 марта) 1919 г. мощи Иакова были вскрыты (обнаружены «кости, соединённые высохшими связками»). В 1947 г. была отклонена просьба Московской патриархии о возвращении церкви в числе других святынь мощей Иакова. В «Деле о мощах Иакова» записано, что 10 июля 1947 г. получены сведения об отсутствии мощей в музеях Валдая уже перед Великой Отечественной войной, «но когда и куда они изъяты, неизвестно». По другой версии, после вскрытия мощи Иакова были возвращены в Иверский монастырь, исчезли после упразднения обители (возможно, были скрыты насельниками). После ликвидации в 1918 г. Боровичского монастыря ковчег с ребром Иакова был передан в Успенский храм в Боровичах, в 1960 г. – в храм мученицы Параскевы Пятницы, который до 1917 г. был приписным к Боровичскому монастырю. В 1937 г. была закрыта боровичская церковь в честь иконы Божьей Матери «Умиление», св. источник залили бетоном, тогда же, вероятно, погибла и хранившаяся в храме святыня – фрагмент гробовой колоды Иакова. Существовала легенда, по которой во время Великой Отечественной войны Иаков, явившись в сонном видении одному из жителей города, обещал уберечь Боровичи от оккупации, если жители трижды обойдут город с его иконой. Три ночи подряд православные боровичане обходили городские окраины с образом святого и частицей его мощей. Фронт остановился в 70 км от города. Частица мощей Иакова находилась в мощевике иконы XIX в. с изображением Иакова из Иверского монастыря. После закрытия монастыря икону передали в церковь св. апостолов Петра и Павла города Валдая, она была похищена в 2006 г., но вскоре возвращена в храм. В 1993 г. храм в честь иконы Божьей Матери «Умиление» вернули церкви, 23 октября 1995 г. в нём была совершена первая литургия, летом 1997 г. восстановлен св. источник. Возобновлена традиция совершать крестный ход к храму во вторник Светлой седмицы.