По мнению исследователей, деятельность И.Я. Борзобогатого-Красенского во Владимирско-Брестской епархии вызывала недовольство короля и местной шляхты – владимирского старосты и киевского воеводы Константина Константиновича Острожского, владимирского подстаросты В. Гулевича и др., с которыми у И.Я. Борзобогатого-Красенского были имущественные конфликты. Протесты против действий И.Я. Борзобогатого-Красенского могли исходить и от духовенства, т.к. наречённый епископ раздавал церковные имения родственникам, распоряжаясь ими как частными владениями. В сентябре 1564 г. передал своей старшей дочери Маруше в качестве приданого по случаю ее свадьбы с В. Рогозинским принадлежавшие Владимирской епархии сёла Мосур и Ставки. Ряд имений шляхтич отдал другим представителям рода Борзобогатых-Красенских, вследствие чего на него была подана жалоба в Виленский сейм. Наречённый епископ грабил соседей по земельным владениям. В 1564 г. отнял у князя Михаила Еловича-Малинского местечко Велицк в Ковельском старостве, захватил родовое село князя Якуба Войны-Тристенского Тристень в Луцком повете. В феврале 1564 г. слуги И.Я. Борзобогатого-Красенского напали на обоз серадзского воеводы Альбрехта Лаского и отняли у него 900 бочек с поташем. Главной причиной недовольства короля в отношении И.Я. Борзобогатого-Красенского было нежелание шляхтича возвращать долги королевской казне и сопротивление, которое он оказывал при изъятии его имений в счёт уплаты долгов (например, в 1565 г. при отчуждении в пользу короля села Забороль в Луцком повете). Не позднее 29 июня 1565 г., после смерти епископа Иосифа (Красенского), И.Я. Борзобогатый-Красенский был лишён Владимирской кафедры, на которую получил назначение епископ Феодосий (Лазовский). И.Я. Борзобогатый-Красенский в июне 1565 г. на Петроковском сейме обязался уплатить Феодосию 1 тыс. злотых, если тот откажется от Владимирской епископии. И.Я. Борзобогатый-Красенский не заплатил, и 15 сентября 1565 г. епископ Феодосий, имевший охранную грамоту короля, во главе вооружённого отряда взял штурмом епископский замок во Владимире, в котором находился сын И.Я. Борзобогатого-Красенского Василий с отрядом вооружённых слуг, оказавший ожесточённое сопротивление. 21 октября 1565 г. королевский дворянин Иван Богухвал сообщал, что потребовал, чтобы Феодосий отправился во Владимир на королевский суд по делу о насильственном овладении Владимирской епископией, но тот отказался. 26 ноября того же года королевский дворянин Бенедикт Протасевич передал Феодосию королевский приказ не препятствовать ему в описании земельных владений Владимирской епископии, на что получил согласие архиерея. Тогда же Владимирская епархия была закреплена за Феодосием, а попытки И.Я. Борзобогатого-Красенского оспорить решение в суде оказались безрезультатными. При этом И.Я. Борзобогатый-Красенский удержал за собой ряд имений Владимирской кафедры (в частности, местечко Квасов во Владимирском повете, местечко Городок и др.), которые оказались записаны либо на него, либо на его ближайших родственников, на что позже жаловался епископ Феодосий. В 1565–1566 гг. И.Я. Борзобогатый-Красенский упоминался в документах как луцкий войт. Должности луцкого ключника и городничего он уступил Александру Жоравницкому, а должность луцкого мостовничего – племяннику Ивану Олехновичу.