Для новообразованной монашеской общины было решено построить деревянную церковь во имя Николая Чудотворца и поместить в ней явленный образ. Основную роль в устроении обители «Летописец» отводит местным боярам Нелединским-Мелецким. Исследователи предполагают, что старец Антоний был специально призван кем-то из них для основания монастыря. Согласно другой точке зрения, ктитором Краснохолмского Антониева мужского монастыря мог быть князь Андрей Васильевич Большой Угличский, младший брат великого князя Ивана III Васильевича. Первоначально Краснохолмский Антониев монастырь состоял из деревянных келий, часовни (1460 гг.), Никольской церкви и ограды-частокола (1460–1480 гг.). Строительство каменного собора во имя Николая Чудотворца началось в 1481 г. и продолжалось до конца XV в. Основатель Краснохолмского Антониева монастыря не дожил до окончания строительства: в 1481/1482 г. скончался и, согласно «Летописцу», «достойно погребён собранною им братиею» в обители. Со временем место погребения было утрачено, но насельники сохранили предание, что старец-основатель погребён под спудом у стен Никольского собора. В 1690 г. над предполагаемым местом погребения рядом с Никольским храмом была воздвигнута церковь во имя Всех святых. К 2015 г. место погребения оставалось неизвестным. Преподобный Антоний является местночтимым святым для Красного Холма и Бежецка, прославлен в Соборе Тверских святых. В церковном управлении Бежецкий Верх, а следовательно, и Краснохолмский Антониев мужской монастырь в XV–XVII вв. подчинялись Новгородским архиереям. Многие игумены Краснохолмского Антониева мужского монастыря были выходцами из новгородских монастырей. Согласно расходным книгам монастыря, в XVI–XVII вв. братия жила по общежительному уставу. Конец XVI в. – время расцвета монастыря, в котором находились каменные Никольский собор с приделом и церковь во имя великомученика Димитрия Солунского с трапезной; в собственности обители были богато украшенные иконы, богослужебная утварь, священнические облачения и богослужебные книги (в том числе 11 напрестольных Евангелий, честь из которых украшены золотом, серебром и бархатом). В монастырь вносили пожертвования как местные землевладельцы, так и представители именитых боярских родов: князь Андрей Большой Угличский, Бутурлины, Шереметевы, Годуновы. Позднее царь Иван IV Васильевич Грозный не раз жертвовал в Краснохолмский Антониев мужской монастырь богатые дары, в том числе и на поминовение убитых и опальных (12 небольших икон в серебряных окладах). За счёт передачи в собственность Краснохолмского Антониева мужского монастыря сёл и деревень выросла его вотчина. В Смутное время, во время польско-литовского нашествия в 1611 г., краснохолмские монахи были убиты (в старинном синодике записаны 26 их имён), монастырские сёла и деревни сожжены. Постепенное возрождение Краснохолмского Антониева мужского монастыря и его владений началось после 1616 г., когда царь Михаил Фёдорович Романов пожаловал Краснохолмскому Антониеву мужскому монастырю тарханную грамоту.