Ириней был знаком с митрополитом Евгением (Болховитиновым), с Николаем Ивановичем Новиковым, который стал издателем некоторых его сочинений, например, Бесед Иоанна Златоуста, а также с адмиралом Павлом Васильевичем Чичаговым и литератором графом Дмитрием Ивановичем Хвостовым. По характеристике Павла Ивановича Мельникова (Андрея Печерского), Ириней «отличался обширной учёностью, особенно же знанием греческого языка…, был очень добрый человек и кроткого характера, но много вредил себе невоздержанной жизнью. (В Синоде) он находился под сильным влиянием митрополита Амвросия (Подобедова) и подписывал всё, что он ни прикажет». Источником суждений П.И. Мельникова стали записки пристрастного мемуариста А.А. Яковлева. Тот писал в 1805 г., что «архиепископ Ириней Псковский, человек добрый, ежедневно пьяный, разделявший своё время между пуншем, греческими книгами и любовницею, которую он содержал на Петроградской стороне.., всегда всё подписывал, не читавши, по приказанию митрополита, с тем только, чтобы он не мешал ему пользоваться покойной жизнью и доставил ему пансион». По свидетельству Н.С. Маевского, внука друга Иринея генерал-лейтенанта Александра Дмитриевича Буткевича, Ириней среди своих современников «слыл за человека необыкновенной учёности, потому что знал языки латинский и греческий и перевёл несколько творений святых отцов. Он был большой самодур, но самодурство значительно смягчалось в нём образованием, которым он так резко отличался от своих современников». В то же время он был прост в общении и не лишён чувства юмора. Как вспоминал буфетчик Афанасий Фаддеев, однажды в присутствии Иринея и гостей он подал к столу поросёнка. Архиерей перекрестил блюдо со словами: «...Сие порося да обратится в карася», и первым с аппетитом приступил к трапезе. На подаренном А.Д. Буткевичу портрете Ириней изображён, по описанию Н.С. Маевского, как «величавый красавец-старик, с белым и румяным лицом…, с приветливой улыбкой и кротким выражением умных карих глаз». Поясной живописный портрет Иринея первой четверти XIX в. (Русский музей), по мнению исследователей, является копией несохранившегося оригинала письма Владимира Лукича Боровиковского. В музей поступил в 1897 г. из собрания князя Алексея Борисовича Лобанова-Ростовского в Санкт-Петербурге.