Ту же участь разделили представленные А.Н. Голицыным к печати рукописи «Изъяснение на Евангелие» и «Разговор духовника с кающимся христианином и желающим приступить к Святому Причащению», не соответствовавшие, по мнению Иннокентия, православным взглядам. В 1818 г. Иннокентий добился учреждения цензуры над «Сионским вестником» Александра Фёдоровича Лабзина, а затем и запрещения его печатания. Ещё в 1815 г. в письме А.Н. Голицыну Иннокентий указывал на пагубные заблуждения, распространявшиеся в статьях «Сионского вестника», призывая князя «залечить раны, которыми он сам уязвил Церковь». Такое обвинение министр счёл оскорбительным и вскоре решил избавить столицу от ревностного служителя. 3 сентября 1818 г. Иннокентий дал разрешение на издание книги Евстафия Ивановича Станевича «Беседа на гробе младенца о бессмертии души, тогда токмо утешительном, когда истина оного утверждается на точном учении веры и Церкви», направленной против религиозно-мистического движения, в которой, по словам Филарета (Дроздова), «заключалось много выражений слишком оскорбительных для предержащей власти и вообще для духа правления того времени». А.Н. Голицын немедленно отреагировал на публикацию и в докладе императору Александру I заключил, что «книга сия совершенно противна началам, руководствующим христианское наше правительство по гражданской и духовной части». 4 января 1819 г. император повелел объявить Иннокентию, пропустившему её в печать, выговор. Весь тираж был немедленно изъят и уничтожен, а автор книги выслан из Санкт-Петербурга. Предвидя дальнейшие последствия, 8 января Иннокентий писал княгине С.С. Мещерской, что и он «как сор петербургский должен быть выброшен из Петербурга». Вскоре без предварительного синодального избрания 25 января 1819 г. Иннокентию было определено быть епископом Оренбургским. Отличавшийся слабым здоровьем Иннокентий воспринял назначение в отдалённую епархию как ссылку. Сторонники и друзья Иннокентия (митрополит Михаил (Десницкий), обер-прокурор Святейшего Синода князь П.С. Мещерский, княгиня С.С. Мещерская и др.) стали хлопотать о перемещении его на Пензенскую кафедру, освободившуюся после ухода на покой епископа Афанасия (Корчанова). 22 февраля 1819 г. состоялось назначение Иннокентия на Пензенскую кафедру, 27 февраля – наречение во епископа, 2 марта в Казанском соборе Санкт-Петербурга – хиротония. В Пензу Иннокентий прибыл только 21 июня совершенно больным. По его инициативе был отремонтирован архиерейский дом, раньше находившийся в полном запустении («...похож на худой трактир или на шалаш. Двери без замков, без ключей, все было обломано»).