В 1800 г. Гагарину были пожалованы орден св. Андрея Первозванного и чин действительного тайного советника. После вступления на престол императора Александра I был учреждён «Совет непременный» и назначено 12 членов, в том числе и князь Гагарин, продолжавший оставаться президентом коммерц-коллегии до конца 1801 г. Последние годы жизни он провёл в Москве и в своём имении с. Богословском-Могильцах Дмитровского уезда. Скончался 19 января 1808 г. и погребён в церкви с. Богословского. В 1811 г., уже после его смерти, граф Фёдор Васильевич Ростопчин (1763–1826 гг.) представил великой княгине Екатерине Павловне свои «заметки о мартинистах», в которых, между прочим, было сказано, что князь Г.П. Гагарин, гроссмейстер главной масонской ложи в Москве, в бытность свою обер-прокурором при Сенате, намеревался присоединиться к мартинистам, но, узнав, что против них готовится преследование, решил выдать тайны, которые знал, чтобы обелить себя. Граф писал: «Единственно только страх заставил его сделаться предателем, потому что он был одним из тех людей, которые выказывали большую привязанность великому князю Павлу и дозволяли себе порицать мероприятия Екатерины II. Это был человек умный, деловой, но низкий, развратный, кутила, опутанный долгами и потерявший всякую репутацию». Отзыв графа Ф.В. Ростопчина был основан, как предполагают исследователи, на его личных отношениях к князю Гагарину, в котором он видел опасного для себя соперника в расположении императора Павла I. В первое время царствования Павла граф Ростопчин был весьма близок к императору, но под конец попал в опалу. Мнения о князе Г.П. Гагарине в высших кругах были самые разноречивые. В 1777 г. граф Алексей Семёнович Мусин-Пушкин письменно просил А.Б. Куракина передать князю Гагарину «уверение в самой искренней дружбе». В 1800 г. граф Завадовский писал графу А.Р. Воронцову: «С князем Гагариным, я знаю от него, ты в переписке. Он мне сделал чувствительное благодеяние. Молви при случае, я тебя прошу, и от себя за то ему спасибо; я ему благодарен на весь мой век». Наряду с таким благорасположением некоторых лиц известно, что граф Алексей Григорьевич Орлов-Чесменский относился к князю Гагарину не только недружелюбно, но даже всячески старался вредить ему в глазах императрицы Екатерины II. Нелестные слухи, распространяемые о князе Гагарине в публике, нашли отклик и в письмах князя Виктора Павловича Кочубея (лично с ним незнакомого) и Александра Яковлевича Протасова к графам Воронцовым. Также и мемуарист граф Фёдор Гаврилович Головкин говорит, что Гагарин отличался умом и глубокой безнравственностью. Князь Г.П. Гагарин любил заниматься богословскими вопросами и находился в общении с духовными лицами из высшей иерархии. Так, он был близок и в переписке с митрополитом Платоном (Левшиным), который очень ценил его благочестие и одобрял его литературные труды. Ему посвящались разные книги, между прочим, сочинение архиепископа Тверского и Кашинского Феофилакта Лопатинского, написанное на латинском языке: «Зерцало горячайшаго ко Господу Богу духа М. 1787 г.». Старец Ювеналий Воейков, игумен Корнилиева монастыря, поднёс ему свои два стихотворения, напечатанные в 1779 г. и шесть дворянских родословных, напечатанных в 1792 г. Всё это переплетено в одну книгу, на лицевой стороне которой вытиснуты золотом государственный герб и слова: «Его сиятельству князю Гавриилу Петровичу Гагарину, милостивому государю, подносит старец Ювеналий Воейков».