В 1820–1824 гг., при строителях Амвросии и Серафиме, Белобережская пустынь пришла в упадок, житницы опустели, капитал был издержан на содержание братии. В 1824 г. по просьбе братии настоятелем был вновь поставлен иеромонах (с 1847 г. – архимандрит) Моисей, благодаря которому благосостояние обители улучшилось, в праздники пустынь принимала до 5 тыс. богомольцев. В 1824 г. была построена каменная двухэтажная трапезная, вмещавшая около 200 человек, в 1828 г. – каменная ограда с башнями по углам и тремя воротами, в 1837 г. расширен Троицкий собор, на втором этаже устроен новый придел в честь иконы Богоматери «Взыскание погибших», а на первом – во имя Трёх святителей. Одновременно были построены каменные корпуса гостиницы, братских келий, конного двора, столярной и др. Выстроенная в 1836 г. колокольня при храме 22 сентября 1840 г. из-за непрочности грунта рухнула, в 1847 г. была восстановлена. При игумене Анастасии (1849–1863 гг.) в 1861 г. вместо обветшавшего старого больничного корпуса построили новый, с церковью Покрова Пресвятой Богородицы. В 1861 г. был заложен, а 2 июня 1878 г. освящён новый пятиглавый каменный собор в честь иконы Божьей Матери «Троеручица». Близ пустыни находился скит с возведённой в 1856 г. двухэтажной церковью: нижней каменной – во имя Всех святых и верхней деревянной – в честь Печерской иконы Божьей Матери. Около скита находилось монастырское кладбище. В начале XX в. число братии Белобережской пустыни возросло до 200 человек, в 1916 г. – до 400 человек. Обитель владела 1895 десятинами леса, 473 десятинами пахотной и луговой земли. При пустыни действовала иконописная мастерская, с 1900 г. на монастырском хуторе при деревне М. Полпино – школа, в 1901 г. преобразованная в церковноприходскую. В неурожайные годы в трапезной монастыря помимо братии ежедневно кормили по 300–400 человек. Случалось, неимущие матери оставляли у стен обители своих детей. Пустынь отчисляла средства на содержание епархиальных училищ, брянского госпиталя Красного Креста, а с 1905 г. – по 150 руб. ежегодно в фонд пострадавших в Русско-японской войне, в 1916 г. – 600 руб. в императорскую канцелярию «на нужды войны», за что император Николай II выразил братии благодарность. Весной 1919 г. на территории Белобережской пустыни была устроена дачная колония Московского отдела народного образования, после выезда которой часть зданий отошла станции железной дороги Брянск-Тула. 29 декабря 1920 г. последние насельники обители были выселены, но в 1922 г. жители деревни Непряхино приняли в бесплатное пользование имущество монастырских храмов, и богослужения продолжали совершаться. 17 июня 1924 г. заключённые прежде местными властями договоры с верующими были аннулированы, все храмы пустыни закрыли, и к 1941 г. они были разрушены. После освобождения Брянска в 1943 г. кирпич оставшихся зданий обители использовался для восстановительных работ в городе. К 2002 г. сохранилось несколько жилых и хозяйственных зданий и часть ограды с юго-восточной башней. Ведутся переговоры с администрацией Брянской области о передаче монастырских построек епархии для возобновления монашеской жизни.