Рассказывая о миссионерской деятельности Иоанна Эфесского, Михаил Сириец утверждал, что все вновь обращённые становились халкидонитами, однако ни в «Церковной истории», ни в Хронике Зукнина сведений об этом факте нет. Всё это время Иоанн Эфесский, как полагают исследователи, формально сохранял пост настоятеля монастыря св. Мары, регулярно бывал в Константинополе и пользовался определённым влиянием в церковных кругах. В 546 г., когда ряд высших сановников империи, в том числе префект претория Востока Фока, были обвинены в занятиях магией и совершении языческих обрядов, Иоанн Эфесский стал инициатором их изобличения. В 562 г. он принял участие в деле пяти языческих жрецов, обнаруженных в Константинополе, и лично сжигал языческие книги. В 558 г. Иаков Барадей рукоположил Иоанна Эфесского во епископа Асии (митрополия Эфес). После этого роль Иоанна Эфесского в жизни монофизитской общины Константинополя ещё больше возросла. В 550 гг. он стал помощником проживавшего в Константинополе низложенного Александрийского патриарха Феодосия I (ум. в 566 г.). Послания Феодосия часто сопровождались подписью Иоанна Эфесского. Кроме того, Иоанн Эфесский был главным администратором монофизитской общины Константинополя и продолжал пользоваться расположением двора, в то время как Феодосий после смерти императрицы Феодоры (ум. в 548 г.) в значительной мере утратил влияние. Тем не менее, Иоанн Эфесский никогда не оспаривал положение Феодосия как главы столичных монофизитов. При императорах Юстине II (565–578 гг.) и Тиверии (578–582 гг.) Иоанн Эфесский стал представителем столичных монофизитов в общении с халкидонитами, представителями императорской власти и монофизитами Сирии и Египта. Его авторитет в монофизитской среде уступал только влиянию Иакова Барадея и Бострийского епископа Феодора. Различные партии, которые образовались в среде монофизитов, пытались привлечь Иоанна Эфесского (порой против его желания) на свою сторону как посредника либо третейского судью в спорах с оппонентами. После 566 г. лидеры монофизитской партии тритеистов Тарсский епископ Конон и Селевкийский епископ Евгений хотели, чтобы Иоанн Эфесский примкнул к их ереси. В 570 г. в Константинополе по инициативе императора Юстина II состоялся диспут, третейским судьёй на котором выступил Константинопольский  патриарх Иоанн III Схоластик. Тритеистов представляли Конон и Евгений, а в числе их оппонентов упомянут Иоанн Эфесский. Однако Константинопольский патриарх Фотий I называет вместо Иоанна Эфесского Кипрского епископа Стефана. Исследователи полагают, что Иоанн Эфесский присутствовал на диспуте, однако предпочёл соблюдать нейтралитет. Позднее он написал послание Конону, предостерегая его от распространения новых учений.