С этого дня в течение почти восьми лет Ираклий I возвращался в Константинополь лишь на краткие периоды; как правило, его сопровождала Мартина. Управление столицей и часть государственных дел были формально переданы старшему сыну Ираклия I Константину, при котором опекунами были патрикий Вон и патриарх Сергий. В 622–623 гг. состоялась вторая крупная кампания Ираклия I против персов. Летом 622 г. Ираклий I продолжал тренировку войск и постепенно продвигал их на восток. Осенью вступил в Малую Армению, где разбил передовой отряд арабов – союзников персов. Ираклий I сумел заставить персидское войско Шахрбараза без сражения отступить из Каппадокии в Киликию и захватил несколько горных проходов через хребет Тавр. Зимой 622/623 гг. в сражении в Киликии Ираклий I победил Шахрбараза, разбил лагерь персов, которые отступили дальше на восток. Эти события, по мнению исследователей, стали началом важного психологического перелома в сознании византийцев. Хронист Феофан отмечает всеобщую радость от неожиданного успеха лишь недавно мобилизованных воинов, вчерашних ремесленников, в бою против регулярной армии персов. Расположив свои войска на зимние квартиры вдоль Тавра, Ираклий I отправил письмо Хосрову II, предлагая заключить мир и угрожая в противном случае начать вторжение в Месопотамию. В апреле 623 г. он получил ответ от Хосрова. Согласно версии армянского историка Себеоса, письмо Хосрова не только было оскорбительным для Ираклия I, но и содержало недопустимые выпады против Христа. Шаханшах называл Ираклия I своим негодным рабом и требовал явиться с повинной к персидскому двору, чтобы получить прощение (письмо неизвестно в византийской традиции). Весной 623 г. Ираклий I на краткое время вернулся в Константинополь из-за нового обострения отношений с аварами. Вскоре он вновь отправился к армии, расквартированной в то время в Малой Армении. В конце весны 623 г. Ираклий I вторгся в пределы персидской Армении и овладел Двином и Нахчаваном (ныне Нахчыван (Нахичевань), Азербайджан). Удар был неожиданным для персов (византийцы впервые вступили на их территорию за 20 лет войны); остановить войска Ираклия I им не удалось. Продвигаясь на юго-восток, в персидскую область Атропатена, летом византийцы взяли штурмом город Гандзак и разрушили в нём один из древнейших маздеистских храмов – Вшасп и царский дворец. Осенью Ираклий I с несколькими тысячами пленных отступил на север в область Кавказской Албании и разбил лагерь близ её столицы Партава (ныне Барда, Азербайджан). Оставив войско, Ираклий I вновь перезимовал в Константинополе и 15 апреля вместе с августой Мартиной отправился из Никомидии на Кавказ. Военные действия летом и осенью 624 г. велись с переменным успехом. Ираклий I заключил союз с несколькими кавказскими народами (лазами, абасгами, иверами), но персы во главе с полководцами Шахраплаканом, Шахином и Шахрбаразом сдерживали его гораздо эффективнее, чем годом раньше. По сообщениям Феофана, Ираклий I одержал две победы в области Гиркания (Северо-Западный Иран); в сражениях был убит Шахраплакан. Персам удалось объединить свои основные силы; против Ираклия I выступила большая часть местного населения, которое начало партизанскую войну.