В 665 или 666 г. арабское войско под началом Абдаррахмана, сына Халида ибн аль-Валида, захватило фригийские крепости Аморий и Пессинунт, а также Пергам (ныне Бергама) и Смирну (ныне Измир). Оставив часть сил под командованием Фадалы, арабы зимовали уже в Восточной Вифинии, в нескольких переходах от Боспора. Под влиянием наступления арабов началось брожение в византийском войске. Около 668 г. стратиг фемы Армениак Шапур (Саборий) поднял мятеж против Константина IV и отправил к халифу Муавии в Дамаск посла, стратилата Сергия, с предложением о союзничестве. Узнав об этом, Константин IV отправил в Дамаск своего посла, Андрея, чтобы попытаться помешать планам мятежников. Оба посла встретились на приёме у халифа, и между ними был устроен унизительный публичный торг; Муавия объявил, что заключит соглашение с тем, кто пообещает более выгодные условия (больший размер дани). Андрей отказался от переговоров и отправился обратно, по пути подготовив засаду для Сергия в горном проходе Тавра. Сергий был схвачен и казнён, а соединение мятежников Шапура с арабами на время было задержано. Против Шапура был отправлен с войском патрикий Никифор, но междоусобная война не состоялась, поскольку Шапур вскоре погиб (он был случайно раздавлен собственным конём, который от удара плети прижал седока к городским воротам). Около 667 г. халиф Муавия отправил своего сына Язида на завоевание Константинополя (наиболее подробные сообщения об этом событии сохранились в Мосарабской хронике 741 г., «Хронике 1234 года» и «Маронитской хронике»). Главные сухопутные силы арабов больше года блокировали Константинополь, подступали к стенам, грабили его окрестности и другие византийские города. Одновременно на Мраморном море присутствовал арабский флот. Об успехах сторон в противостоянии у стен Константинополя сведений у исследователей почти нет. Исследователям неясно также, что побудило Язида в 668 г. снять осаду. Однако, как полагают исследователи, именно освобождение Константинополя от осады в 668 г. позднее поминалось в византийской столице за литургией 25 июня. Тем не менее, снятие осады ещё не означало для Константина IV полного успеха. В 670–671 гг. арабский флот зимовал в захваченном Кизике и продолжал морскую блокаду Константинополя ещё около двух лет. В летнее время арабский флот блокировал гавани Константинополя; зимой арабы отступали в Кизик, но и для византийцев навигация в это время замирала. Значительная часть снабжения Константинополя была прервана или сильно затруднена; город, по сути, жил в изоляции от всех отдалённых областей империи, имея сообщение лишь с ближайшей округой (Вифиния, Фракия, Причерноморье, отчасти Греция). Большую роль в обороне византийцев сыграло первое использование секретного изобретения, известного как «греческий огонь». Подробного описания этого оружия не сохранилось. Его изобретателем в хрониках назван Каллиник, грек, бежавший от мусульман в Константинополь из ливанского Баальбека (Гелиополя).