Изменение формы скалы Голгофы с IV по XX вв. было связано с её почитанием и символическим оформлением: от неё откалывали камни разного размера и забирали их в качестве реликвий (в церкви Богородицы на горе Гаризим, V–VI вв., найден кусок камня с надписью: «От Скалы Святого Кальвария»). Вершина скалы служила для укрепления на ней распятий. Здесь имеется, например, углубление, трактуемое как место, где стоял Животворящий Крест. Ранее XI в. паломники о нём не упоминают, указывая в то же время, как Паломник из Пьяченцы (около 570 г.), на лунку у подножия. По мнению исследователей, в лунке крепился золотой крест, стоявший до разграбления города персами в 614 г., а затем заменённый серебряным (пропал при разрушении храма Гроба Господня аль-Хакимом). Усилиями паломников лунка расширилась: приводимый русским игуменом Даниилом (начало XII в.) её размер около 38–46×19–27 см, в настоящее время 50 см в диаметре и 40 см в глубину. Отверстий от распятых вместе с Иисусом крестов разбойников на скале не обнаружено, и при современном состоянии вершины для них нет места (пилигримы искали их уже в ранневизантийскую эпоху, но ни одного упоминания об их существовании нет). Подъём к вершине Голгофы осуществлялся по ступеням, возможно, вытесанным в самой скале. Эгерия пишет о движении паломников «до Креста» и «после Креста». Ступени, ведущие наверх, упомянуты в VI в. Феодосием (около 530 г.) и Паломником из Пьяченцы. В.К. Корбо пишет, что при раскопках, предпринятых Иерусалимским патриархатом в конце ХХ в., в северной части скалы открыты остатки ступеней вверх по склону, но время их появления неизвестно. Игумен Даниил отметил, что при императоре Константине IX Мономахе пол в верхней церкви Голгофы был вымощен прекрасным цветным мрамором. Это в целом подтверждает Теодорих (1172 г.). Скорее всего, подготовка под мощение XI в. сохранилась на северной и западной сторонах скалы Голгофы в виде платформы (или верха ступеней), мощённой мелким камнем. В её край вмонтирован остаток столбика алтарной преграды, плиты которой могли помещаться в зазор края скалы. В верхнем из двух сохранившихся слоёв обмазки (белом и коричневом) заметно углубление гнезда колонки или пилястры. До персидского завоевания 614 г. скала Голгофы находилась вне церковных сооружений. Она вошла в объём храма Гроба Господня при перестройке, предпринятой святителем Модестом (местоблюститель в 614–628 гг., Иерусалимский патриарх в 630–634 гг.). Здесь была построена высокая и богато украшенная «церковь Голгофы», описанная Аркульфом (около 670 г.) как четырёхугольная; с восточной стороны она соединялась с Мартириумом. Археологические раскопки, проведённые с восточной стороны, показали, что при этом подлинная скала была накрыта архитектурным «футляром». Церковь эпохи Модеста была круглой или многогранной; количество входов не установлено. Сохранились четыре пилястры (возможно, ранее VII в.), стоящие почти вплотную к скале, и помещение, возникшее к востоку от скалы.