К церкви примыкали двухэтажные палаты (три комнаты с сенями наверху, кладовая внизу), выстроенные, по преданию, для царевича Алексея Петровича, который мог проживать в них лишь короткое время, фактически находясь под арестом весной 1718 г., после принудительного возвращения из-за границы. Первоначальное убранство и богослужебные предметы храма были приобретены также на средства вкладчика И.Ф. Викторова. В 1849 г. стены храма расписали фресками. К началу XX в. в храме находились четырёхъярусный резной позолоченный иконостас, справа от царских врат местный образ Спасителя с предстоящими Арсением и князем Михаилом Тверским, слева – местный Киево-Печерский образ Божьей Матери, а также чтимая икона св. Алексия, человека Божия, «греческого письма» в серебряной ризе (вклад 1843 г. вдовы действительного статского советника Алексея Марковича Полторацкого, погребённого в Жёлтиковом монастыре). К 1917 г. в Алексиевском храме размещалась библиотека, в нижнем этаже – кельи. По описаниям 1685 и 1702 гг., в Жёлтиковом монастыре находилась деревянная «рублена осмерик» шатровая колокольня с восемью колоколами. Не позднее 1713 г. между Алексиевской церковью и Успенским собором на средства вкладчика И.Ф. Викторова была возведена каменная шатровая колокольня. Внутри колокольни находились часы «железные русские». В июле-августе 1803 г. сгнившая тёсовая крыша колокольни была заменена на железную, в 1897 г. колокольня ещё раз ремонтировалась. В 1833–1834 гг. в линии восточной ограды (между палатами царевича Алексея и настоятельскими кельями) были сооружены новые св. ворота в стиле ампир, на месте которых в 1912–1914 гг. по проекту архитектора Александра Петровича Фёдорова была построена надвратная колокольня. Все три яруса колокольни (проездной и два яруса звона) были кубическими: нижний – со слегка пирамидальными очертаниями, верхний – со срезанными углами; колокольня завершалась небольшой маковичной главой. Интересными деталями сохранившегося до наших дней нижнего яруса являются полукруглый выступ с юга, напоминающий апсиду, а также аркатурно-колончатый пояс под карнизом. С этого времени старая колокольня не использовалась, но сохранялась как памятник архитектуры. Из келейных и хозяйственных построек в 1685 г. в Жёлтиковом монастыре находились деревянные кельи, архимандричья, казённая, гостиная, пять братских келий, келья дьячков, хлебня, конюшенный двор с избой; рядом с обителью – скотный двор с избами, дворы дьячка и стряпчего. В первой половине XVIII в. с востока в линию с трапезной церковью во имя преподобных Антония и Феодосия были построены каменные настоятельские покои, в конце XVIII в. с запада возвели братский корпус в скромных классицистических формах (сохранился). Вместе с церковью эти сооружения образовывали сплошной фасад Жёлтикова монастыря со стороны Тьмаки.