Целью общества было школьное обучение и воспитательное дело на Востоке, главным образом, – добывание повсюду материальных средств и предоставление их в пользу местных учебных заведений. Первым председателем общества выбрали адмирала Матье, первым директором – аббата Лавижери, знаменитого впоследствии алжирского архиепископа. В совет вошли выдающиеся личности дипломатического, военного и морского ведомств и представители, восточных миссионеров. В связи с этой деятельностью не удивительно, что в 1859 г. Иван Сергеевич был приглашён сопровождать в качестве духовника паломников, отправляющихся в Иерусалим. Третьего апреля он отплыл из Марселя, пробыл три месяца на Востоке и в том же году описал своё путешествие в первом томе «Etudes». В следующем году он опять посетил сирийскую миссию, а потом провёл там два года (1862–1864), в течение которых преподавал церковную историю в Газире, где тогда находилась богословская школа, проповедовал на французском языке в Бейруте, изучал арабский язык и местные особенности. Его внутренним желанием было навсегда поселиться в Бейруте и образовать там скромный русский очаг. Но кроме других препятствий от непривычного климата сильно пострадало его здоровье. Частые недуги вынудили его в 1865 г. вернуться в Европу. С тех пор он постоянно жил в Париже, выезжая только на некоторое время в Страсбург и Версаль. В 1863 г. некто Амосов выпустил книгу под названием «Последние дни жизни А.С. Пушкина со слов К.К. Данзаса». В ней утверждалось, будто бы Иван Сергеевич, будучи уже за границей, признался, что подмётные письма, подосланные Пушкину и ставшие причиной его дуэли, «были написаны у него и на его бумаге, но не им, а князем Петром Владимировичем Долгоруковым». Таким образом, Иван Сергеевич выставлялся соучастником этого гнусного дела, да к тому же ещё и жалким предателем. Долг чести обязывал автора проверить свои утверждения и привести доказательства. Он этого не сделал и выдал за истину пустой вымысел. Долгоруков проживал тогда в Лондоне и, прочитав в «Современнике» разбор книги Амосова, с негодованием отверг возведённую на него и на Ивана Сергеевича клевету. Его ответное письмо было напечатано в «Современнике» за октябрь 1863 г. и в «Колоколе» за 1 августа того же года. В 1865 г. по случаю вышедших «Воспоминаний» Сологуба о Пушкине «Биржевые ведомости», не наведя новых справок, воспроизвели рассказ Амосова. Тогда уже вернувшийся из Бейрута Иван Сергеевич торжественно заявил и дал честное слово, что не принимал никакого участия в составлении и посылке оказавшихся роковыми для Пушкина писем. О Долгорукове он также засвидетельствовал, что никаких улик против него не знал и не имел. Это письмо напечатано в «Биржевых ведомостях». Всё сводится к тому, что тяжкое обвинение, попавшее в прессу, никем и никогда не было доказано. Приблизительно к тому же времени относится полемика с Ю.Ф. Самариным. В 1840 гг. между двумя друзьями велась оживлённая переписка. Она отличалась сердечной откровенностью. Разрыв произошёл на почве религиозных убеждений. И вот, в 1865 г. Самарин печатает в газете «День» в адрес И.М. Мартынова пять писем против иезуитов. Между прочим, он горько сетует на Ивана Сергеевича в связи с его книгой «La Russie sera-t-elle catholique?», говоря, что она будто бы является доносом на славянофилов, ссылаясь при этом на общественное настроение, царившее в 1851 г. На этот упрёк нетрудно было ответить: книга вышла в 1856 г., в совершенно других условиях, т.е. вслед за манифестом Александра II. Пользуясь случаем, в письме к Самарину в январе 1866 г. Иван Сергеевич изложил свой взгляд на славянофильство и на превозносимые им православие, самодержавие и народность. Это письмо смахивает на profession de foi. Дальнейшая жизнь Ивана Сергеевича сложилась таким образом, что он одновременно посвящал себя и чисто духовным занятиям, и литературным трудам. С русскими католиками поддерживались близкие отношения. Некоторое время, пока была жива С.П. Свечина, местом сбора была её гостиная.