26 января 1898 г. назначен епископом Кишинёвским и Хотинским. Вызывался для присутствия в заседаниях Святейшего Синода (октябрь 1900 г. – апрель 1901 г.). В 1902 г. основал в епархии миссионерско-просветительное Христорождественское братство. 12 августа 1904 г. переведён правящим архиереем в Ярославль с возведением в сан архиепископа. Возглавлял братство во имя Димитрия Ростовского. В 1905 г. во время революционных событий в городе успокоил волнения учащихся Ярославской духовной семинарии. В связи с постановлением Святейшего Синода от 27 июля 1905 г. по вопросу о церковной реформе Иаков высказался как епархиальный архиерей о целесообразности проведения церковных преобразований (публиковалось в издании «Отзывы архиереев» и отдельно в брошюре, изданной самим Иаковом). Выступал за возрождение патриаршества, поддержал создание митрополичьих округов, считал, что на предстоящем поместном Соборе правом решающего голоса могут пользоваться только архиереи, причём викарные – только с согласия епархиальных. Выступил категорически против депутатства архиереев и иереев в Государственной думе, участия духовенства в деятельности политических партий. Предложил собственный проект реформы духовного образования: соединение трёх нижних классов духовной семинарии с духовным училищем и превращение их в общеобразовательные средние школы, создание из трёх высших классов духовной семинарии пастырских училищ, в которые могли бы поступать выпускники как духовных училищ, так и гимназий и других светских учебных заведений. Считал, что духовные училища как сословные учебные заведения можно сохранить лишь временно, учитывая социальное положение духовенства. Выступал против автономии духовных академий. Высказался за создание единоверческого епископата, за пересмотр отношения к Белокриницкой иерархии старообрядцев и снятие клятв Собора Русской церкви 1667 г. на старые обряды, за большую терпимость в вопросах браков православных со старообрядцами и инославными христианами, за изменения в языке богослужения, поскольку «возвышенное богослужение наше из-за пристрастия к умершему языку превращается в непонятное словоизвержение». При этом считал, что перевод богослужения на современный русский язык «невозможен по многим причинам», но предложил обсудить вопрос об исправлении церковнославянского перевода богослужебных книг с устранением из него архаизмов и греческие расположения слов в речениях таким образом, что будет создан, по словам Иакова, «новославянский» язык.