Я вижу одно средство, коим можно ещё всё поправить: продать имение за какую бы то цену ни было и расплатиться с долгами. Кто дал вам право удержать чужое для того, что вы раздавали некогда и ныне раздаёте своё? По всем сведениям, мною собранным, вы без хлеба ещё и за сим не останетеся; а медля, умножите только ваши запутанности и, что и того хуже, умножите толки противников и, смею вымолвить пред вами страшное слово, умножите поношение имени христианского. Что принадлежит до дела с Тургеневыми, оно уже решено единогласно всем светом против вас и прежде письма вашего: письмо не остановит исполнения». Так писал искренний и преданный друг; после этих слов нечего удивляться беспощадному приговору врага: в глазах графа Фёдора Васильевича Ростопчина И.В. Лопухин «был человек самый безнравственный, пьяница, преданный разврату и противоестественным порокам, имеющий 60000 руб. дохода и разоряющий целые семейства, которым не платит, занимая у них деньги; издатель мистических книг, подающий одной рукой милостыню бедняку и отгоняющий другою своих злосчастных заимодавцев». Докладная записка И.В. Лопухина полного успеха не имела: государь отозвался, что он деревень в этом году не покупает, что денег в Кабинете нет; он ограничился пожалованием хорошей аренды. В сентябре 1805 г. И.В. Лопухин вернулся в Москву и стал опять присутствовать в Сенате, по-прежнему вызывая шум своим заступничеством за судимых. Он находил, что все «стремились осуждать сколь можно строже, и не только нимало не принимали на себя труда сыскивать в законах и обстоятельствах дел способы к пощаде человечества, но не уважали их и там, где они сами собою представлялись зрению и рассудку. Например, были споры о том, чтоб не неделю, а месяц продержать в смирительном доме; были голоса, чтобы сечь по жребию десятого». И.В. Лопухин считал весьма вероятным, что при новом расписании сенаторов именно из-за споров перевели его в восьмой департамент, к делам которого он вовсе не имел привычки. Не без удовольствия покинул он Москву вследствие нового поручения: в конце 1806 г. решено было учредить милицию; несколько сенаторов отправлены были по губерниям для наблюдения за порядком и тишиной; надзору И.В. Лопухина были вверены губернии Тульская, Калужская, Владимирская и Рязанская. Еженедельно И.В. Лопухину Л. посылал государю свои рапорты, в которых он откровенно высказал, как тяготились милицией все слои населения. «Нет никого, – писал он, – кроме водимых видами личных выгод или легкомыслием, кто бы не находил учреждение милиции тягостным и могущим расстроить общее хозяйство и мирность поселянской особливо жизни». Встречая всюду повиновение, готовность, усердие, он советовал беречь это общее чувство, как самый драгоценный залог прямой силы и твёрдости отечества. Говорили, что Наполеон может вторгнуться внутрь России и взволновать простой народ. И.В. Лопухин не разделял этих опасений, он боялся, «чтоб в дворянстве и состояниях учащихся не торжествовало ложное просвещение, на безверии основанное, и чтоб, наконец, не изострилось внутри пагубнейшнее оружие от злоупотребления самого земского войска».