В июне 1864 г. умер от тифа Иван Кельсиев, у В.И. Кельсиева начались разногласия с атаманом И.С. Гончаровым. В начале 1865 г. В.И. Кельсиев вместе с семьёй оставил общину и отправился в Стамбул, затем в Румынию, в Галаце получил место дорожного чиновника. Здесь во время эпидемии холеры умерли его малолетние дети, вскоре скончалась жена. После их смерти В.И. Кельсиев жил в Вене (1866 г.), путешествовал по Венгрии и Галиции, откуда он под псевдонимом Иванов-Желудков отправлял путевые очерки, материалы по этнографии и мифологии славян в русские газеты и журналы «Голос», «Отечественные записки», «Русский вестник». В.И. Кельсиев всё больше склонялся к славянофильству (см. в ст. Славянофильство и западничество), своими сомнениями делился с А.И. Герценом, который не разделял пессимизма бывшего соратника, их переписка прекратилась в ноябре 1866 г. 20 мая 1867 г. В.И. Кельсиев прибыл на российский таможенный пункт в Бессарабии, сдался властям и был доставлен в кишинёвскую тюрьму, оттуда отправлен в Санкт-Петербург. Находясь под арестом в столице, В.И. Кельсиев написал своё основное произведение «Исповедь» (13 июня – 11 июля 1867 г.), в котором отрёкся от революционной деятельности, подробно объяснив причины своего решения. Император Александр II прочитал «Исповедь» и даровал автору прощение, В.И. Кельсиеву было возвращено право поступать на государственную службу и возможность жить в обеих столицах. 11 сентября 1867 г. публицист вышел из тюрьмы и обосновался в Санкт-Петербурге. Поступок В.И. Кельсиева вызвал возмущение оппозиции. После освобождения В.И. Кельсиев занимался литературной деятельностью, сотрудничал в Русском географическом обществе, писал для журналов славянфильского и консервативного направления «Заря», «Всемирный труд», «Русский вестник», «Нива», издал мемуары «Пережитое и передуманное» – сокращённый вариант «Исповеди». В мемуарах, а также в очерках «Из рассказов об эмигрантах», «Эмигрант Абихт» В.И. Кельсиев создал образ политического эмигранта, потерявшего связь с русской жизнью. В 1868 г. В.И. Кельсиев издал книгу «Галичина и Молдавия», включившую путевые очерки 1866–1867 гг. из газеты «Голос» и размышления В.И. Кельсиева о единстве славянских народов; по мнению автора, создание общеславянского союза было первоочередной политической целью. В 1870 г. в журналах «Нива» и «Семейные вечера» В.И. Кельсиев опубликовал исторические очерки компилятивного характера: «Александр Невский и Дмитрий Донской», «Первый русский царь Иван III Васильевич», «Просветители славян святые Кирилл и Мефодий», в 1872 г. издал повести «Москва и Тверь», «При Петре». В.И. Кельсиев отчасти послужил прототипом Шатова в романе Фёдора Михайловича Достоевского «Бесы».