Согласно свидетельству русских паломников XIV в. (Стефана Новгородца, Игнатия Смольнянина, дьяка Александра, диакона Троице-Сергиева монастыря Зосимы), в монастыре Пантократора в Константинополе существовало почитание главы святого. В настоящее время глава великомученика хранится в монастыре великомученицы Анастасии Узорешительницы на полуострове Халкидики, а часть главы – в церкви великомученицы Екатерины на острове Керкира. Часть ноги находится в монастыре Николая Чудотворца близ Апикии на острове Андрос, другие частицы мощей – в храме Гроба Господня в Иерусалиме, в Киккском монастыре на острове Кипр, в ряде афонских монастырей (Иверском, Ксиропотаме, Великой Лавре, Дохиаре, преподобного Дионисия, Симонопетре, Пантелеимоновом, в скитах Новая Фиваида и Богородица), в греческих монастырях Агафона, Дусику, Мега Спилео, апостола Иоанна Богослова на острове Патмос, в монастырях новомученика Феодора, Таксиархов близ Нафплио на полуострове Пелопоннес, Живоносного Источника на острове Андрос, Неа-Мони на острове Хиос, Честного Креста Господня на острове Самос, в исихастирии Вознесения Господня в Козани (Македония) и др. Часть мощей Иакова Персиянина хранится в монастыре Сирийцев (Дейр-эс-Суриани) в Вади-эн-Натрун (Египет) и в церкви аль-Тахира в Мосуле (Ирак). На Западе существуют другие версии местонахождения честной главы Иакова Персиянина. Исследователям известно латинское сказание, согласно которому в 1103 г. монах Вильгельм (Людовик) привёз главу в аббатство Кормери (близ города Тур, Франция) из Константинополя, где он получил её от архимандрита монастыря св. Диомида в Никомидии (Turris S. Diomedi – башня св. Диомида). Однако, как сообщается в Проприях на день памяти Иакова Персиянина из Бревиария базилики св. Петра в Ватикане за 1674 г., мощи Иакова Персиянина были перенесены в Италию римлянином Кириллом, а глава при папе Евгении IV (1431–1447 гг.) была передана собору св. Петра в Ватикане кардиналом Иорданом Урсином. Частица мощей Иакова Персиянина была перенесена в Брагу (Португалия), где это событие отмечается 22 мая. На Руси Житие Иакова Персиянина было хорошо известно, о чём свидетельствуют сообщения русских летописей. В 1270 г. в Орде был замучен князь Роман Олегович, отказавшийся отречься от Христа, – летописец сравнивает его страдания с мучениями Иакова Персиянина: татары «отрезаша язык, и заткоша уста его (князя Романа) убрусом, и начяша резати его по суставом (...) персты вся обрезаша и у ног и у рук, и устне и уши и прочая суставы розрезаша (...) И се убо сей новый мученик бысть подобен страстию Иакову Перскому» («Полное собрание русских летописей», том 10). В третьей четверти XI в. частицу мощей Иакова Персиянина привезли в Киево-Печерский монастырь из Константинополя. Из описей собора Святой Софии в Великом Новгороде исследователям известно, что в нём хранилось несколько частиц мощей этого святого. У исследователей есть сведения, что частица мощей великомученика находилась в Хутынском монастыре. В 1811 г. по благословению Амвросия, митрополита Санкт-Петербургского и Новгородского, игуменья Новотихвинского монастыря в Екатеринбурге Таисия (Костромина) получила из новгородского собора Святой Софии ковчег с частицей мощей Иакова Персиянина и с частицами мощей ещё 24 святых (в настоящее время находится в храме Всех святых этой обители).