5 февраля 1909 г. Извольский был уволен от должности обер-прокурора и назначен членом Государственного Совета. 6 февраля того же года ему была объявлена Высочайшая благодарность. Отставку Извольского с поста обер-прокурора Л. Львов связывал с его деятельностью по защите автономии духовных школ, которая не поощрялась консервативной частью епископата. В то же время председатель Совета министров П.А. Столыпин при отсутствии особых претензий критиковал Извольского за неспособность «плыть против синодских течений» (например, Извольский не комментировал реакцию Синода на празднование 80-летия Л.Н. Толстого). В период обер-прокурорства Извольский был удостоен ряда наград и почётных званий. С 1907 г. – почётный гражданин г. Новосиль Тульской губернии (за помощь бедным во время эпидемии холеры и участие в создании ремесленной школы). В том же году был избран почётным членом ряда братств: Виленского Свято-Духовского, Ковенского Свято-Никольского, Курского Знаменско-Богородицкого миссионерско-просветительного, Холмского Богородицкого, Покровского с. Кричильск Ровенского уезда Волынской губернии, архангела Михаила при Михайловской церкви с. Б. Вербча (Вел. Вербче) Ровенского уезда Волынской губернии, а также Ставропольского епархиального церковно-археологического общества. 13 января 1908 г. был избран почётным членом Прибалтийского православного братства; 15 января – Московского Археологического института и Православного церковного братства свт. Гурия при Казанском кафедральном соборе; 2 февраля – Острожского Кирилло-Мефодиевского братства; в том же году – Православного карельского братства во имя вмч. Георгия. 11 июня 1907 г. Иерусалимским патриархом Дамианом Касатосом (1897–1931 гг.) Извольскому был пожалован золотой крест с частицей Животворящего Древа (разрешено носить исключительно при церковных церемониях) и звание кавалера Святого Гроба Господня. В Государственном Совете Извольский принадлежал к группе центра, был председателем и докладчиком по делам Комиссии по школьному законодательству, выступал за широкое участие государства в финансировании земских школ, в защиту церковноприходских школ и за увеличение ассигнований на них, за уравнение в правах при поступлении в университеты выпускников гимназий и других средних учебных заведений. Действительный статский советник (1 января 1905 г.), гофмейстер Императорского Двора (с 1 января 1912 г.). Награждён орденами св. Станислава третьей степени (29 июня 1889 г.); св. Анны третьей степени (1 января 1898 г.); св. Станислава второй степени (1901 г.); св. Анны первой степени (1 января 1907 г.), св. Владимира второй степени (1 января 1914 г.); Белого Орла (1 января 1917 г.). Владел родовым имением в Балашовском уезде Саратовской губернии, имением, приобретённым в Новосильском уезде Тульской губернии, дачей в Ялте. Был хорошо знаком с семьёй Симанских, Иннокентием Фёдровичем Анненским, Сергеем Фёдоровичем Платоновым, князем Евгением Николаевичем Трубецким. После Февральской революции жил в Ялте. 5 мая 1917 г. оставлен за штатом, а 14 декабря 1917 г. уволен с государственной службы. По мнению Антуана Нивьера, в октябре 1920 г. эмигрировал из Ялты во Францию. Член приходского совета собора во имя кн. Александра Невского в Париже, инициировал проведение еженедельных бесед о вере и церкви (1920–1921 гг.). По другим, менее достоверным данным, из Ялты в октябре 1920 г. выехал с семьёй в Константинополь, в 1922 г. перебрался в Мюнхен, в 1923 г. – в Париж. 19 декабря 1921 г. архиепископом Евлогием (Георгиевским) рукоположён во диакона, 15 февраля 1922 г. – во иерея с назначением настоятелем церкви во имя свт. Николая Чудотворца в Брюсселе, с 1923 г. – в сане протоиерея (был единственным обер-прокурором Синода, принявшим впоследствии священный сан).