В 1802 г. напротив возобновленной им соборной церкви было начато строительство трехъярусной колокольни в 30 сажень вышины; с обеих сторон было пристроено по каменному флигелю для братских келий. Под колокольней сделан главный вход к святым воротам. Строительство колокольни и левого флигеля закончены в 1804 г., а правого флигеля в  1800 г. Для братии, умножавшейся числом, были вновь построены двухэтажные полукаменные флигели: трапезный и настоятельский. Все деревянное строение было исправлено, а внутри монастыря разведен фруктовый сад. Появление в Оптиной пустыни чудотворной Казанской иконы Божией Матери и построение собора в честь этой иконы – одно из самых ярких событий в истории обители. Первый камень трехпредельного Казанского храма был положен в 1805 г., а в 1809 г. начато строительство больничной церкви с шестью кельями. Строительство обеих храмов было окончено одновременно в 1811 г. В том же году они были освящены преосвященным Евлампием (переведенным из Архангельска в Калугу 16 апреля 1809 г.) – больничная церковь 26 августа, а Казанская – 23 октября. Все вышеупомянутые церковные здания внутри обители, по своему расположению, относительно друг друга, составляют правильное подобие креста: в средоточии – собор, восточная ветвь – больничная церковь. Нравственные качества Авраамия привлекали к нему все большее и большее количество желающих посвятить себя на служение Богу, между тем штаты 1764 г. ограничивали число монашествующих в пустыни только 7-ю монахами. Поэтому 21 июля 1808 г. отец Авраамий, не желая отлучать из обители лиц, ищущих монашеской жизни, осмелился подать в Святейший Правительственный Синод прошение о прибавке к штату еще 23-х монашеских вакансий. И указом Святейшего Синода от 18 января 1809 г. это было разрешено. Перед вступлением Наполеоновских полчищ в Смоленскую губернию депутаты от купечества с Калужским городским головой представлялись фельдмаршалу Кутузову, но он уверил их, что не пустит Наполеона в Калугу. Однако игумен Авраамий принял некоторые предосторожности к охранению церковного имущества: церковную утварь, ризницу и библиотеку приказал уложить в сундуки; свечи и другие церковные вещи были спрятаны в палатку, что под соборной церковью. Братия приискали в 15 верстах от обители в дремучем лесу недоступный по местоположению овраг с пещерой, чтобы удалиться туда, в случае появления врага. Между тем силы Авраамия заметно ослабевали, и в августе 1815 г. он повторно обратился к митрополиту с прошением об увольнении от настоятельской должности с тем, чтобы жить в сей же пустыни в уединенной келье на монастырском содержании, с назначением на нужнейшие, из-за болезни, потребности за 19-летнюю службу по 100 рублей в год. Однако епископ Евгений убедил старца отложить еще на некоторое время удаление на покой. Евгений 7 февраля 1816 г. был переведен в Псков, а на его место назначен епископ Антоний из Воронежа. Но дни старца Авраамия были уже на исходе. В конце 1816 г. он смертельно заболел и, почувствовав время исхода, пред кончиной созвал всю братию и в трогательных выражениях простился с ней, завещав ей мир между собой, согласие и единодушие, и, преподав всем благословение, скончался 14 января 1817 г. Авраамий погребен на бывшей паперти Введенского собора (место его погребения, после устроения в 1837 г. придела во имя святителя Николая Чудотворца, вошло в храм).