Хиротония состоялась 21 октября в Свято-Троицком соборе Александро-Невской лавры. При наречении 17 октября Ермоген сказал: «Помню слова святого Златоуста: “Добрый пастырь-епископ во всякое время подвизается не меньше тысячи мучеников...” – и иду с твёрдым намерением всецело отдать свои силы на служение Богу, неустанно и неусыпно стоять на страже веры и Церкви, мужественно бороться с её врагами и даже быть готовым, если бы пришло такое время, и пострадать за истину Христову, подражая тому великому первосвятителю Русской Церкви, коего священное имя дано мне в сане иноческом». С января по апрель 1875 г. был командирован в Новгород, исполнял обязанности Новгородского викария. 9 сентября 1876 г. назначен епископом Ладожским, первым викарием Санкт-Петербургской епархии. В 1878 г. возглавил в Новой Ладоге торжества освящения двух обновлённых церквей – Георгиевской (Суворовской) в присутствии светлейшего князя Александра Аркадьевича Суворова, внука основателя храма генералиссимуса Александра Васильевича Суворова (29 июня), и Климентовской (30 июня). В январе 1882 г. выезжал в Петрозаводск на погребение Олонецкого епископа Палладия (Пьянкова). Одновременно Ермоген состоял главным наблюдателем за преподаванием Закона Божия в учебных заведениях Санкт-Петербурга. С 1875 г. был председателем совета Исидоровского епархиального женского училища, внёс большой вклад в его становление. 24 апреля 1882 г. Ермоген возглавил самостоятельную Таврическую и Симферопольскую епархию. При нём был расширен Александро-Невский собор в Симферополе (освящён в 1884 г.), построена соборная колокольня. 9 марта 1885 г. назначен епископом Псковским и Порховским. Заботился о церковном образовании. В целях поддержки церковноприходских школ и Псковского епархиального женского училища учредил братство во имя святых Кирилла и Мефодия. В 1887 г. составил службу благоверному князю Довмонту (Тимофею) Псковскому. В 1886 г. совершил постриг и 14 июня 1887 г. возвёл в сан архимандрита Мефодия (Холмского; впоследствии настоятель Псково-Печерского в честь Успения Пресвятой Богородицы монастыря). В декабре 1891 г. совершил постриг и рукоположил во иерея Тихона (Беллавина; впоследствии Патриарх Московский и всея Руси). В 1888, 1889, 1892 и 1893 гг. Ермоген вызывался на летние месяцы для присутствия в Святейшем Синоде. 14–15 июля 1888 г. возглавил богослужения в Князь-Владимирском соборе Санкт-Петербурга, который стал центром торжеств в честь 900-летия Крещения Руси. В различных епархиях Ермоген организовывал и проводил внебогослужебные беседы. Писал стихи, на некоторые из них сочинил музыку. Его проповеди, речи, беседы, стихотворения и другие материалы вошли в книгу «Минуты пастырского досуга». Оставил воспоминания «Моё прошлое», в которых подробно описал биографии своих предков и свою жизнь до 1870 г., период учёбы и педагогической работы, в том числе в третьей санкт-петербургской гимназии. Собирал сведения о храмах Санкт-Петербургской и Таврической епархий. Ермоген был награждён орденами святой Анны первой степени (1877 г.), святого Владимира второй степени и святого Александра Невского (1887 г.). Почетный член Санкт-Петербургской духовной академии (1887 г.). Скончался на Благовещенском синодальном подворье в Санкт-Петербурге от воспаления лёгких. Погребён, согласно его желанию, в Исидоровской церкви Александро-Невской лавры. В 1932 г. останки Ермогена, найденные нетленными, были перенесены на Никольское кладбище лавры и захоронены у кладбищенской стены. К началу 1950 гг. могила была утеряна.