При основании скита в его юго-западной части был построен корпус с соборной кельей, в которой братия собиралась для чтения молитвенного правила в дни, когда не было церковных служб. В 1840 гг. по углам ограды были поставлены четыре круглые каменные башенки, в 1857 г. возведены новые, каменные св. ворота с колокольней. В первом ярусе двухъярусной постройки находились небольшие ворота с боковыми сторожками, а во втором – звонница, украшенная со всех сторон кокошниками и увенчанная главой. Над аркой ворот снаружи была надпись: «Вниду в дом Твой, поклонюся ко храму святому Твоему», а внутри – «Коль возлюбленна селения Твоя, Господи». Внутри боковые стены были расписаны ростовыми изображениями восточных и русских пустынножителей, подбором изображений занимался Макарий. В 1902 г. на колокольню были подняты новые колокола, отлитые на заводе П.И. Оловянишникова и сыновей в Ярославле (вес самого большого – 120 пудов). В домике слева от колокольни проживали скитоначальники, а в «хибарке» справа – старцы и духовники обители, в том числе преподобные Амвросий, Иосиф и Нектарий. В 1858 г. было возведено новое здание братской трапезной с кухней, кладовой и двумя кельями для поваров, в 1860 г. – отдельный корпус с мезонином для скитской библиотеки. В 1866 г. на южной стороне скита Иоанна Предтечи был освящён корпус, выстроенный для монаха Климента (Зедергольма; впоследствии иеромонах) на средства Александра Петровича Толстого по плану, составленному Амвросием. В конце XIX в. почитатель Амвросия купец М.И. Иванов собирался выстроить в скиту Иоанна Предтечи каменное помещение для ризницы и библиотеки. Было решено сделать каменную пристройку к церкви Иоанна Предтечи, однако Амвросий, явившийся во сне Иосифу, повелел оставить это намерение. Не разрешила строительство и епархиальная строительная комиссия. Через некоторое время благотворитель решил увеличить сумму пожертвования для возведения каменной церкви во имя Катанского епископа Льва и преподобного Иоанна Рильского (Рыльского). Участок для храма был определён на месте корпуса с соборной кельей, братия скита составила план. В 1901 г. на строительство было получено благословение протоиерея Иоанна Кронштадтского, св. покровителем которого был Иоанн Рильский. В том же году состоялась закладка, а 26 октября 1902 г. – освящение церкви, которое совершил Калужский епископ Вениамин (Муратовский). В честь торжества в храм были допущены женщины. Церковь исполнена в псевдорусском стиле, в подвальном помещении устроен придел в честь Собора архангела Михаила, на верхнем этаже, над храмом, в помещении с 14 полуовальными окнами, разместилась библиотека, над входом установлена звонница. К зданию примыкало двухэтажное помещение с кельями (в том числе для благотворителя М.И. Иванова), под ним устроены кладовые и духовые печи, на втором этаже поместили скитскую ризницу.