Ф.Ф. Исмайлова «поразил до самозабвения… добрый и деликатный поступок» митрополита Давида: в день отъезда Ф.Ф. Исмайлову принесли 100 руб., которые митрополит завещал ему передать, когда тот будет уезжать из Грузии. До Душети Ф.Ф. Исмайлова провожал его помощник, позже известный грузинский историк Платон Игнатьевич Иоселиани. 8 июля 1856 г. Ф.Ф. Исмайлов прибыл в Москву и на следующий день подал официальное прошение об отставке. Филарет (Дроздов), архиепископ Казанский Григорий (Постников; впоследствии митрополит Новгородский и Санкт-Петербургский) и учитель Ф.Ф. Исмайлова в духовной академии профессор Василий Иванович Кутневич обещали хлопотать о пенсии для Ф.Ф. Исмайлова. 20 сентября 1856 г. обер-прокурором Синода был назначен граф Александр Петрович Толстой. Ф.Ф. Исмайлов часто бывал у него, и они беседовали о системе российского духовного управления. В начале октября 1856 г. Ф.Ф. Исмайлов прибыл в Санкт-Петербург, 20 октября получил увольнение. На протяжении службы Ф.Ф. Исмайлова на его иждивении находились вдовые сёстры и племянницы. После отставки он «собрал своих родных в одну семью» в Москве. Работал над книгой воспоминаний, последнюю часть которой («Из воспоминаний прокурора…») завершил 26 февраля 1861 г., за девятьмесяцев до кончины. Последними его словами перед смертью были строки из евхаристического канона: «Милость мира, жертву хваления». Ф.Ф. Исмайлов погребён на московском католическом Введенском кладбище, рядом с могилой отца. Воспоминания Ф.Ф. Исмайлова сохранились не полностью. Первая часть («Взгляд на собственную прошедшую жизнь») издана отдельной книгой в 1860 г.; вторая («Из записок старого профессора семинарии») опубликована в журнале «Православное обозрение». Поясняя причину, побудившую его написать мемуары, Ф.Ф. Исмайлов указывал: «Ко всякой эпохе моей жизни прикосновенны многие немаловажные обстоятельства. За отсутствием гласности они погибли бы в реке забвения». Источниковедческое значение сочинений Ф.Ф. Исмайлова высоко ценил Николай Семёнович Лесков, считая их «записками редкостного интереса». Писатель безрезультатно пытался издать третью и четвёртую части мемуаров – «Из воспоминаний секретаря при Святейшем Синоде» и «Из воспоминаний прокурора Грузино-Имеретинской синодальной конторы»; затем на их основе создал несколько очерков, ставших, по существу, художественно-литературной обработкой третьей части: «Синодальные персоны», «Картины прошлого», «Синодальный философ», «Сеничкин яд», «Борьба за преобладание» и др. Некоторые очерки были опубликованы в шестом томе Собрания сочинений Н.С. Лескова, уничтоженном цензурой (хранится в Музее книги Российской государственной библиотеки). Н.С. Лесков писал, что рассказы Ф.Ф. Исмайлова «внушают большое доверие к автору, – человеку, который... представляется очень добрым, тепло верующим и совестливым. Но, несмотря на всю непритязательность и скромность… они в некоторых случаях заставляют отдать им полное предпочтение перед тем, что начертано рукою более или менее фразистых некрологистов и тенденциозных историков». Опубликовать две последние части мемуаров Ф.Ф. Исмайлова, снабдив их комментариями, удалось профессору Киевской духовной академии Филиппу Алексеевичу Терновскому в журнале «Странник» в 1882–1883 гг. Воспоминания Ф.Ф. Исмайлова неоднократно использовались в работах по истории и в жизнеописаниях видных деятелей Московской духовной академии и Вифанской духовной семинарии. В историографии Грузинского экзархата они мало известны.