При Григории были открыты многие церковноприходские школы, женские епархиальное училище в Калуге (1879 г.). 11 июля 1852 г. стал вице-президентом Калужского попечительного комитета о тюрьмах. В 1870 г. было учреждено Калужское отделение Православного миссионерского общества, и Григорий призвал духовенство епархии оказать ему помощь. В 1862 г. началось издание «Калужских епархиальных ведомостей». Григорий был знатоком духовной и светской литературы, талантливым проповедником. Многие его проповеди опубликованы в «Калужских епархиальных ведомостях», «Воскресном чтении», «Христианском чтении» и др. Григорий покровительствовал старчеству, особенно ценил монахов Оптиной пустыни, назначал их настоятелями, казначеями других монастырей. В 1862 г. приехал в Оптину пустынь на погребение настоятеля схиархимандрита преподобного Моисея (Путилова), к которому относился с большим уважением и любовью, руководил выборами нового настоятеля. Большинство голосов набрал иеромонах Пафнутий (Осмоловский), однако Григорий, опираясь на мнение старцев, утвердил настоятелем иеромонаха преподобного Исаакия I (Антиминова). В 1868 г. по благословению Григория в с. Петропавловском Мосальского уезда была основана Боголюбивая в честь Казанской иконы Божьей Матери женская община (с 1892 г. – монастырь). Неоднократно отказывался от предложений возглавить другие епархии. С 7 июня 1860 г. по 3 мая 1862 г. присутствовал в Святейшем Синоде. Был избран почётным членом Русского археологического общества (1856 г.), Казанской духовной академии (1871 г.), Общества попечения о раненых и больных воинах (1871 г.) и др. 9 декабря 1876 г. в Калуге торжественно отмечалось 25-летие управления Григорием Калужской епархией. Награждён орденами св. Анны первой степени (1853 г.), первой степени с императорской короной (1857 г.), св. Владимира второй степени (1862 г.), св. Александра Невского (1867 г.) и алмазными знаками к нему (1874 г.) и др. Григорий вёл строгий, аскетический образ жизни, точно исполнял церковный устав. Ещё в 1868 г. составил послание к пастве в качестве предсмертного завещания, в нём просил у всех прощения и молитв. После известия о гибели императора Александра II Николаевича 1 марта 1881 г. состояние здоровья Григория стало ухудшаться. Скончался на второй день Пасхи, похоронен 17 апреля 1881 г. в калужском Троицком соборе, в западном углу, погребение совершил Тульский архиепископ Никандр (Покровский). После смерти Григорий почитался в Калужской епархии, особенно в Оптиной пустыни, где ежегодно 25 января (в день памяти Григория Богослова) по нему служились панихиды. К 2006 г. в Троицком соборе совершаются богослужения, захоронение Григория утеряно. Сохранилось несколько его изображений. Например, поколенный портрет 1860 г. в овале, напечатанный в литографии В. Бахмана в Москве (РНБ), – иерарх представлен сидящим в кресле возле стола, в рясе и чёрном клобуке, с панагией и крестом в память Крымской войны, орденами св. Александра Невского и св. Владимира второй степени на груди и чётками в руках; у него узнаваемые черты лица, высокий лоб и окладистая, тёмная борода; под изображением факсимиле автографа («Григорiй Епскпъ Калужскiй»). На эстампе 1861 г. работы П.Ф. Бореля, вышедшем из литографии А.И. Траншеля (ЦАК МДА), – сходный тип изображения Григория с наградами (возможно, обе литографии восходят к неизвестному живописному оригиналу), но в правой руке архиерея – книга. Его ростовое изображение в архиерейской мантии и клобуке, с теми же орденами, с поднятым вверх указательным пальцем правой руки имеется в росписи 1880–1890 гг. трапезной Оптиной пустыни в ряду портретов выдающихся иерархов, содействовавших духовному расцвету этой обители (возле Филарета Московского). Портрет Григория, как и многих других подвижников, находился в келье преподобного Макария Оптинского.