Весной 1853 г. был издан императорский указ о закрытии керженских скитов, их жители были приписаны к государственным крестьянам Хвостиковской и Хохломской волостей Семёновского уезда. Несмотря на это распоряжение, в 1854 г. на Керженце оставалось восемь келейных поселений. На рубеже XIX и XX вв. на Керженце действовали четыре небольших женских скита: Чернухинский (в пяти верстах от Семёнова), Оленевский, Комаровский (близ Семёнова), Улангерский. Они были разогнаны в конце 1920 – начале 1930 гг., насельницы перешли в соседние деревни. Последняя настоятельница комаровских келий мать Манефа умерла в 1934 г., похоронена на кладбище в Комарове, её могила почитается старообрядцами. Одним из факторов, определявших авторитет Керженца среди старообрядцев, было наличие здесь мощей старцев – основателей и руководителей скитов. В середине XIX в. П.И. Мельников свидетельствовал, что Софонтий «доселе считается главнейшим святым беглопоповщины, они (старообрядцы) всегда поминают его в своих молитвах и ходят на поклонение его мощам». В настоящее время места бывших Оленевского, Комаровского, Шарпанского скитов, могилы Софонтия, Лотия, Манефы и других посещают старообрядцы как из окрестных деревень, так и из различных регионов России, в том числе из Сибири, на местах келейных поселений поставлены памятные кресты. Керженское старообрядчество оказало сильное влияние на творчество П.И. Мельникова, Михаила Васильевича Нестерова. В дилогии П.И. Мельникова (Печерского) «В лесах» (1871–1874 гг.) и «На горах» (1875–1881 гг.), где описана преимущественно жизнь керженских скитов, впервые в русской литературе XIX в. был создан положительный образ старообрядца. Глубокое понимание людей «старой веры» отразил М.В. Нестеров на своих полотнах: «На горах», «За Волгой», «Великий постриг», «На Волге», «Две сестры» и др. Нижегородский фотограф Максим Петрович Дмитриев в начале XX в. запечатлел виды и святыни Керженца и издал серию открыток (Государственный архив Нижегородской области, коллекция фотографий М.П. Дмитриева). Керженские старообрядческие типы привлекали художника и фотографа Андрея Осиповича Карелина. В 1922–1936 гг. существовало единоверческое Керженское викариатство Нижегородской епархии, названное по селу Керженец (ныне посёлок Борского района Нижегородской области). Керженский епископ служил в селе Бор (ныне город, районный центр Нижегородской области), расположенном неподалёку от села Керженец. В 1994 г. нижегородский Институт рукописной и старопечатной книги российского Поволжья начал работу по изучению святых мест старообрядчества. Исследования, проведённые институтом, легли в основу постановления законодательного собрания Нижегородской области 1995 г. «Об объявлении памятных мест, связанных с историей старообрядчества, мест паломничества и поклонения старообрядческим святыням, расположенных в Семёновском районе, достопримечательными местами Нижегородской области и памятниками истории областного значения». Этим постановлением деревня Большое Оленево (бывший Оленевский скит) объявлена историческим населённым местом Нижегородской области, скиты Комаровский, Смольяны, Старый (Пустой) Шарпан, Новый Шарпан и «Святой колодчик с могилами сожжённых» возле деревни Осинки – достопримечательными местами. Памятниками истории считаются могилы подвижников «старой веры» Софонтия, Трифиллия, Иосифа, Никодима, Даниила «и с ним две тысячи сестёр и братьев сожжённых», схимниц Агафии, Прасковеи, Фёклы.