В 1732 г. Указом Святейшего Синода обители были отписаны 30 десятин «пустовой благовещенской земли». Впоследствии вкладчиками обители были действительный статский советник Коллегии экономии Пётр Васильевич Хитрово, обер-прокурор Синода Н. Самойлов, полковник Турчанинов, поручик В. Тютчев, сержант гвардейского Семёновского полка А. Алымов, полковник Г.Е. Замятин и др. В 1732–1735 гг. в Белобережской пустыни был возведён храм в честь Владимирской иконы Божьей Матери с приделами мученика Иоанна Воина и Николая Чудотворца. Главной его святыней стала икона Божьей Матери «Троеручица», написанная в 1718 г. московскими иконописцами Артемием Фёдоровым и Афанасием Ивановым для Белобережской пустыни «по обещанию по родителей своих». Почитались также икона Святой Троицы, Владимирская икона Божьей Матери и икона Иоанна Предтечи, пожертвованные в 1728 г. царицей Евдокией Фёдоровной (Лопухиной). После кончины в 1741 г. строителя Серапиона наместником Белобережской пустыни стал иеромонах Антоний (Горский), который начал возводить храм святых Захарии и Елисаветы на св. вратах (освящён 11 августа 1759 г.). Вместо прежнего Владимирского храма был построен двухэтажный каменный четырёхпрестольный Троицкий собор с приделами Владимирской иконы Божьей Матери (освящён в октябре 1755 г.), святителя Николая и Рождества Иоанна Предтечи. Необходимые для этого средства (2 тыс. руб.) были пожертвованы императрицей Елизаветой Петровной во время её паломничества в 1744 г. в Киево-Печерскую лавру. В результате учреждения штатов в 1764 г. Белобережская пустынь подлежала упразднению. Однако в это время в соседней Яменской Предтечевой пустыни сгорел храм, и епископ Севский и Брянский Тихон (Якубовский), ранее выбиравший, какую из пустыней назначить к закрытию, упразднил Яменскую. Белобережская пустынь была оставлена на своём содержании. Но 6 июня 1770 г. епископ Севский Кирилл (Флоринский) предоставил Святейшему Синоду рапорт, в котором указывал, что Белобережская пустынь является «недостаточной», якобы за неимением своих земель. В 1774 г. пустынь была упразднена. Помещики Брянского и Карачевского уездов подали в Синод прошение о пересмотре этого решения, вынесенного на основании неправильного донесения епископу Кириллу игуменом пустыни Арсения. В 1777 г., при строителе Серапионе (1774–1778 гг.), Белобережская пустынь была приписана к Петропавловскому монастырю и до начала XIX в. находилась в ведении то Площанской пустыни Орловской губернии, то Петропавловского монастыря, что привело к её запустению. В 1766 г. братия насчитывала более 30 человек, в 1774 г. в пустыни проживали только настоятель и восемь монахов (четыре штатных и четыре заштатных). С начала XIX в. происходило духовное и экономическое возрождение Белобережской пустыни, связанное с деятельностью епископа Орловского Досифея (Ильина), старцев Василия (Кишкина), схимников Феодора, Арсения, иеромонахов Клеопы II (ум. в 1817 г.), Мелхиседека, Моисея и др.