П.С. Делицыну неоднократно поручалось обозрение семинарий, состоящих в ведении Московского духовно-учебного округа: Рязанской (1834, 1840, 1857 гг.), Вологодской (1838, 1848 гг.), Ярославской, Костромской (1838 г.), Тульской (1840 г.) и Вифанской (1851 г.). В 1833 г. П.С. Делицын был рукоположён во иерея с причислением к московскому в честь Вознесения Господня женскому монастырю; к 1841 г. возведён в сан протоиерея. Награждён орденами св. Анны второй степени (1849 г.), св. Анны второй степени с императорской короной (1856 г.), св. Владимира третьей степени (1858 г.). П.С. Делицын похоронен на кладбище в Троице-Сергиевой лавре. У него было три сына: Пётр (преподаватель Вифанской духовной семинарии), Димитрий (магистр Московской духовной академии, священник московской Воскресенской в Барашах церкви) и Василий (студент Вифанской духовной семинарии, диакон московской Успенской в Кожевниках церкви). По воспоминаниям современников, его дети «отличались необыкновенной простотой ума и благодушием в обращении, безобидной остротой ума в разговоре и по внешнему виду походили на отца по своей тучности и отсутствию всякой галантности в одежде и светскости в приёмах; зато во всех, имевших к ним какое-либо отношение, и особенно в товарищах, они возбуждали любовь и доверие». В «Прибавлениях к творениям святых отцов в русском переводе» было опубликовано девять поучений П.С. Делицына, произнесённых им в разное время. С юности он занимался переводами на русский язык из античных классиков и современных писателей и философов, сохранились рукописи переводов из Платона, Вергилия (стихотворный перевод «Энеиды»), Тацита («Анналы»), Тита Ливия, Плавта, Теренция, «Эгмонта» Иоганна Вольфганга Гёте, «Валленштейна» Фридриха Шиллера. Совместно с протоиереем Ф.А. Голубинским перевёл «Критику чистого разума» Иммануила Канта, «Эстетику» Фридриха Бутервека, «Историю философии» В.Г. Теннемана (не опубликованы). Были изданы его переводы толкований Иоанна Златоуста на Послания апостола Павла, «Точное изложение православной веры» Иоанна Дамаскина, в переводе которого он участвовал вместе с членами цензурного комитета (1844 г.). В 1841 г. П.С. Делицын был утверждён в должности члена Комитета по изданию творений святых отцов в русском переводе, коллеги называли его «высокопочтеннейшим отцом всех книг, нами издаваемых». Под его редакцией вышли в свет 42 тома творений святителей Григория Богослова, Василия Великого, Ефрема Сирина, Афанасия Александрийского, Кирилла Иерусалимского, Макария Египетского, Нила Синайского, Исаака Сирина, Григория Нисского, Епифания Кипрского, св. Иоанна Лествичника, священномученика Исидора Пелусиота, блаженного Феодорита. Для уточнения перевода П.С. Делицын обращался к греческим рукописям и различным спискам древних славянских переводов, хранившихся в Синодальной библиотеке, старался передать особенности стиля произведений и терминологию св. отцов. Его переводам доверял митрополит Филарет (Дроздов). П.С. Делицын также принял участие в переводе Библии на русский язык (той части Нового Завета, над которой работала корпорация Московской духовной академии).