В июне 1860 г. было учреждено Общество восстановления православного христианства на Кавказе, Евсевий стал его активным членом и вице-председателем, с 1861 г. – почётным членом. В 1867 г. к православию были присоединены 167 ассирийцев, проживавших в Эриванской губернии. Духовно-просветительная деятельность сочеталась с умеренной русификаторской политикой (например, назначались преимущественно русские смотрители духовных училищ), с 1863 по 1869 гг. происходила секуляризация церковных имений. В 1863 г. Евсевий учредил библиотеку при Тифлисской духовной семинарии. В 1866 г. основал при Самтаврском мцхетском во имя равноапостольной Нины монастыре грузинское училище для девочек духовного звания. В результате реформы духовно-учебных заведений в 1867 г. повысилась роль духовенства в управлении церковноприходскими попечительствами. В 1868 г. Евсевий утвердил устав женских епархиальных училищ, согласно которому обучение включало Закон Божий, катехизис, церковную историю, русский и грузинский языки, географию, пение, историю России и Грузии и рукоделие (вязание и шитьё). Евсевий освятил обновлённые Сионский Успенский собор после росписей Григория Григорьевича Гагарина (1861 г.), церковь во имя апостола Андрея при Тифлисской духовной семинарии (1862 г.), церковь во имя Святой Троицы (1863 г.), Мцхетский собор (1874 г.) и совершил закладку трёхпрестольного храма Кавказской Армии в память покорения Кавказа в 1864 г.; инициировал возобновление деятельности Комитета по исправлению грузинской («Бакаровской») Библии. Однако Евсевий был непопулярен среди грузинского населения, подвергался критике в местной прессе. Николай Николаевич Дурново, называвший Евсевия корыстолюбивым и грубым архиереем, утверждал, что именно он участвовал в фактическом разграблении древностей из ризниц грузинских патриархов-католикосов и Гелатского монастыря. Современники свидетельствовали, что по инициативе Евсевия были вывезены и впоследствии проданы коллекционерам чудотворная Хахульская икона Божьей Матери X в. с древними украшениями и древнегрузинское Евангелие с окладом XI в. из Гелатского монастыря, а также драгоценные камни с Сионской иконы Божьей Матери и с облачения Имеретинских католикосов XV в., взята золотая утварь из Сионского собора и семи монастырей. С 8 декабря 1877 г. Евсевий – архиепископ Тверской и Кашинский, прибыл в Тверь на Благовещение в 1878 г. Уже за первый год пребывания на кафедре посетил все церкви в уездных городах и многие сельские храмы. 11 мая 1878 г. возглавил церемонию закладки здания Тверской духовной семинарии с храмом во имя Тихона Задонского.