В 1346 г., при великом князе Симеоне Гордом, храм был расписан. В том же году «мастерю Бориско слил три колокола великиа, а два малыя» («Симеоновская летопись» // «Полное собрание русских летописей», том 18); согласно Никоновской летописи, мастер имел прозвище Римлянин, что может указывать на его происхождение. В 1475 г. в церковь были перенесены саркофаги с мощами святителей из разобранного второго Успенского собора («Того же месяца 16, бысть пренесение мощей чюдотворца Петра из церкви Пречистыа в Иван Святый под колоколы, и прочих митрополитов, Феогнаста, Киприана, Фотиа и Ионы. А в 17 мистр Венецийский Аристотель начят разбивати церкви Пречистыа непадшая стены новыя» - «Полное собрание русских летописей», том 12). Об объёмном решении храма 1329 г. исследователи судят только по результатам раскопок 1913 г. под руководством Петра Петровича Покрышкина, в ходе которых была раскрыта часть сооружения, имеющая гранёный внешний абрис. В восточной части внутри были открыты экседра, которую исследователи готовы интерпретировать как апсиду, и кладка северной и южной стен. Фрагменты не дают исследователям оснований для реконструкции здания как «средней высоты башнеобразного призматического восьмигранника с закомарами, барабаном и главой», сделанной по подобию более поздних столпообразных церквей «под колоколы» XVI в. Небольшой фрагмент архивольта, найденный в забутовке фундамента храма 1505–1508 гг., позволяет исследователям высказывать предположения о его наружном декоре. Однако фрагмент исследователи лишь условно относят к храму 1329 г., поскольку весной 1505 г. было разобрано две церкви времени великого князя Ивана Калиты: Архангельский собор первой трети XIV в. и храм «под колоколы». Таким образом, по мнению исследователей, в забутовку фундамента новой церкви преподобного Иоанна Лествичника могли попасть блоки от обоих храмов (встаёт вопрос о намеренном использовании в забутовке фундамента каждого вновь строившегося храма материала его предшественника). По сообщениям летописи, «тогда же и другую церковь разобраша Иоанн Святый Лествичник, иже под колоколы, созданную от великого же князя Ивана Даниловича в лето 6836, заложиша новую церковь Иоанн Святый не на старом месте» («Полное собрание русских летописей», том 12). Это известие стоит сразу после сообщения о разборке старого и закладке нового собора архангела Михаила, которая произошла 21 мая 1505 г., из чего исследователи делают вывод о начале сооружения церкви преподобного Иоанна Лествичника весной того же года. Её строительство было завершено через три года, в 1508 г., одновременно с Архангельским собором и церковью Рождества св. Иоанна Предтечи у Боровицких ворот (точная дата освящения церкви преподобного Иоанна Лествичника исследователям неизвестна). Из летописного сообщения о завершении строительства трёх храмов в Кремле исследователям известно имя строителя колокольни итальянского архитектора Бона Фрязина («Того же лета (7016 г.) совершиша церковь святаго Архангела Михаила на площади и Иоанн Святый, иже под колоколы, и Иоанн Святый Предотечя у Боровитскых ворот, а мастер церквам Алевиз Новой, а колоколницы Бон Фрязин» – «Полное собрание русских летописей», том 13). О происхождении Бона Фрязина у исследователей нет точных данных. Виктор Никитич Лазарев допускал, что он, как и Алевиз Новый, был уроженцем Венеции. Сергей Сергеевич Подъяпольский считал, что Бон Фрязин мог быть одним из мастеров, приехавших в Москву с посольством Дмитрия Ралева и Митрофана Карачарова.