В 1879 г. Иеремия поселился в нижегородском в честь Благовещения Пресвятой Богородицы монастыре. Отличался скромностью в повседневной жизни, продолжал помогать Кавказской, Орловской, Полтавской, Нижегородской семинариям, другим учебным заведениям, сиротствующему духовенству. Так, епархиальному женскому училищу пожертвовал 5966 руб. в билетах и 272 руб. наличными, «в пользу бедных духовного звания» – 804 руб. в билетах, губернской мужской гимназии «на стипендию» – более 1,3 тыс. руб. За четыре дня до кончины передал напрестольные крест и Евангелие в московский храм Христа Спасителя. Ежедневно служил в примыкавшей к келье домовой церкви. По словам современника Иеремии, «двери его убогой келлии, в два окна, украшенной только большим живописным портретом Киевского святителя Филарета да изображением преподобного Серафима Саровского, отверзались только для Нижегородских преосвященных, изредка – для настоятеля монастыря, часто – для духовника иеромонаха и редко-редко – для некоторых других благочестивых лиц». За десять дней до кончины принял Нижегородского епископа Макария (Миролюбова), 3 декабря 1884 г. после исповеди и причащения скончался со словами: «Пора мне домой». 9 декабря был погребён в правом приделе Алексиевской церкви Благовещенского монастыря. В 1920 гг. храм был закрыт, переоборудован под планетарий; после восстановления церкви в ноябре 2007 г. останки Иеремии были подняты, помещены на хранение в братский корпус монастыря, впоследствии перезахоронены в Алексиевской церкви на прежнем месте. Панихидная память Иеремии совершается в Нижегородской епархии 6/19 декабря. Всю жизнь Иеремия тщательно изучал творения Тихона Задонского, Ростовского святителя Димитрия Савича (Туптало), которые использовал в сочинениях «Изложение христианского учения...» (1869 г.), «Врачевство духовное...» (1897 г.), «Иноческий катихизис» и др. Написанные, в основном, в форме диалога старца и новоначального, они посвящены главным этапам духовной жизни, покаянию, смирению, возрастанию в вере. Переписывался со многими выдающимися архиереями XIX в., в том числе со святителями Филаретом (Дроздовым), Иннокентием (Борисовым), Феофаном Затворником, Гавриилом (Городковым), митрополитом Филаретом (Амфитеатровым) и др. Многочисленные рукописи Иеремии – 24 молитвы, Слова, толкования на новозаветные тексты, личная корреспонденция и др. (всего около 60) – хранились в нижегородском Благовещенском монастыре, в Орловской, Кавказской и Нижегородской семинариях, ставропольском Иоанно-Мариинском монастыре, а также у родственников. Некоторые из них изданы. Награждён орденами св. Анны второй (1836 г.) и первой (1845 г.) степени, св. Владимира второй степени (1848 г.).