Игнатий приветствовал намерение Александра II ликвидировать крепостное право, но в то же время осуждал высказывавшиеся в печати радикальные идеи. В разъяснении к пастве от 6 мая 1859 г. по поводу статей Афанасия Прокопьевича Щапова в журнале «Собеседник» он говорил: «Ни равенства, ни совершенной свободы, ни благоденствия на земле в той степени, как этого желают и это обещают восторженные лжеучители, быть не может. Это возвещено нам словом Божиим; доказано опытом…» Всякая власть «сопряжена с насилием, подчинение сопряжено со страданием. Такими они остаются поныне; такими останутся до окончания мира». Таким образом, по мнению Игнатия, освобождение крестьян стало бы лишь «изменением формы управления ими». В журнале «Колокол» 15 августа 1859 г. появилась статья Александра Ивановича Герцена «Во Христе сапер Игнатий» с осуждением Игнатия за его «восстание против прогресса». Ответ Игнатия, в котором он разъяснял, что считает отмену крепостного права «совершенной необходимостью» при условии проведения реформы правительством, а «не народным бунтом», был опубликован лишь в 1913 г. Игнатий назвал «Колокол» открытым врагом Христа и христианства, а резкие выпады против себя – величайшей наградой пастырю. Он способствовал развитию церковной жизни в России: написал статью «О необходимости Собора по нынешнему состоянию Российской Православной Церкви: Записки епископа Игнатия 1862–1866 гг.», книгу «Правила наружного поведения для новоначальных иноков»; вёл обширную переписку. В декабре 1857 г. князь А.И. Барятинский представил государю проект миссионерского общества, которое учреждалось для восстановления православия на Кавказе. Общество предполагалось устроить по светским принципам, а его председателем должен был стать наместник на Кавказе. Вследствие резкого различия взглядов А.И. Барятинского и Игнатия на форму православной миссии в начале 1861 г. князь обратился к обер-прокурору с предложением переместить Игнатия на другую кафедру. После консультации обер-прокурора с Санкт-Петербургским митрополитом и переписки последнего с Игнатием выяснилось, что митрополит Исидор не считает возможным перевести Игнатия на одну из приемлемых для него кафедр. В июле 1861 г. Игнатий подал прошение об уходе на покой и направил личное письмо о том же императору. 5 августа 1861 г. состоялось его увольнение с назначением пенсии и с награждением орденом св. Анны первой степени. В октябре 1861 г. Игнатий прибыл в Николо-Бабаевский монастырь. Настоятелем монастыря был архимандрит Иустин (Татаринов), преданный ученик Игнатия, в прошлом его келейник. В июне 1862 г. в монастырь приехал вышедший в отставку брат Игнатия (Пётр) и поселился в обители на правах богомольца. В годы пребывания в монастыре Игнатий способствовал налаживанию хозяйственной жизни обители, началу строительства нового соборного храма по проекту архитектора Ивана Ивановича Горностаева. Игнатий подвизался в уединении, трудясь над усовершенствованием своих сочинений; вёл переписку и принимал приходящих за советом. 14 августа 1866 г. обитель посетили наследник цесаревич Александр Александрович и великий князь Владимир Александрович и беседовали с Игнатием.