Именно изъятие подобных дел из ведомства губернаторов и представлялось И.В. Лопухину необходимым. Тогда же удалось ему остановить в самом начале возмущение духоборцев и получить согласие государя на переселение их на Молочные Воды. «В публике – писал И.В. Лопухин, – иные хвалили это дело, а большая часть осуждали. Бранили меня несколько учёных монахов, которые думают, что всё, касающееся до религии, есть их монополия; бранили меня – благочестивыми слывущие старцы, кои не пропускают обедней и прилежно соблюдают посты, а между тем готовы без разбора подписывать людям ссылку и всякую неправду для приятеля, особливо для вельможи-придворного; бранили думающие о себе, что они философы, которые презирают все секты и расколы, хотя не знают прямо, что такое секта или раскол, не знают сами хорошенько, какой они религии; бранили охотники вмешиваться в политику, которые, как бы заботясь о благосостоянии и твёрдости государства, кричат, что секты не должны быть терпимы, хотя также не знают, что такое секта, и в чём состоит благосостояние государства, и хотя они сами из-за ленточки, из-за титула какого-нибудь превосходительства и особливо из-за знатной суммы ходячих достоинств готовы на всё пуститься». Ввиду этих нареканий И.В. Лопухин составил по делу духоборцев особую записку, которую распространил в копиях и послал для печати в «Сионский Вестник» под заглавием «Глас искренности», при письме 12 июля 1806 г. (Записка была напечатана лишь в декабрьской книжке «Сионского Вестника» за 1817 г.; часть рукописи, под заглавием «Отзыв искренности», включена в «Записки» И.В. Лопухина). Вскоре после возвращения И.В. Лопухина в Москву его избрали в совестные судьи, но накануне представления об этом выборе государь назначил И.В. Лопухина председателем в комиссии для разбора споров и определения повинностей в Крыму. Весной 1803 г., с разрешения государя, И.В. Лопухин вернулся на короткое время в Москву, а оттуда в марте проехал в Петербург; здесь он прожил, сверх ожидания, до августа следующего года и лишь зимой возвратился в Крым. И.В. Лопухин несколько тяготился этими разъездами: здоровье его пошатнулось, он запутался в долгах, его тянуло в подмосковное село Савинское (описанное Василием Андреевичем Жуковским в «Вестнике Европы» 1809 г. и Александром Фёдоровичем Воейковым в «Новостях Литературы» 1825 г.). В июле 1805 г. государь уступил настойчивым просьбам И.В. Лопухина и согласился на его увольнение от комиссии. «О выезде моём из Крыма, – писал И.В. Лопухин, – жалел тамошний народ, который очень полюбил меня; это тем замечательнее, а для меня лестнее, что я должен был быть против его, защищая по справедливости права дворян и новых помещиков, которые, как я слышал, не столько, однако, меня любят. Но тамошние жители были довольны мною. Недовольны были только тогдашние начальники губернии, потому что пребывание моё там немножко их ограничивало, и особливо досадовали они на меня за то, что я вступился за некоторых бедняков, у которых вымучили напрасные признания в покраже казённых червонцев и оговор в отдаче их будто одному честному и достаточному мурзе, коего также без всякого основания обыскивали, держали в самой тесной тюрьме, срамили, водя по городу, как важного преступника».