В апреле 622 года Ираклий переправился с войском в Малую Азию, где возле города Никомедия начались учения. Византийский хронист Феофан писал об этом: «В провинциях набрал войско и к нему присоединил новобранцев. Начал упражнять их и приучать к военным действиям; разделивши войско на две стороны, приказал им делать ряды и бескровные нападения друг на друга, приучал их к военному крику, шуму и возбуждению, чтобы на войне они не пугались, но смело, как бы на игрище, шли против неприятеля. Сам царь… шел на сражение, давши клятву воинам вместе с ними сражаться насмерть и разделять с ними все опасности, как с собственными детьми. Он желал управлять ими не страхом, но любовью. Но нашедши в воинах беспечность, робость, беспорядок, неустройство, как в собранных из разных земель, он привел в одно стройное тело; и все согласно и единодушно воспевали силу и мужество царя… Потом, вооруживши войско для военных упражнений, поставил в две колонны, и явились трубы, фаланги из щитов и в латах воины, ряды мужественно стояли, и царь велел им сделать вид сражения: пошли сильные снемы и взаимные столкновения, будто на действительной войне, представилось страшное зрелище без убийства и опасности, взаимные угрозы убийственные без кровопролития и обороты без необходимости, чтобы всякому занять безопасное место с доказательствами своего мужества, среди безбедного побоища».

Кстати, Ираклий при подготовке новой армии многое перенял у персов. Недаром В. А. Дмитриев в книге «Всадники в сверкающей броне. Военное дело сасанидского Ирана и история римско-персидских войн» пишет: «особая система комплектования войска: его главной ударной силой, костяком являлась формировавшаяся из многочисленного слоя средней и мелкой аристократии тяжелая конница… Стратегия персов… была основана на действиях кавалерийских частей, в то время как пехота выполняла второстепенные функции… Именно под воздействием сасанидского военного дела в римской армии произошли серьезные структурные изменения, повлекшие за собой глубокие перемены и в других областях общественной жизни… Чисто военное заимствование («появление в поздней империи отрядов тяжеловооруженных всадников… по персидскому образцу»)… привело к важным системным изменениям… возникло особое военное сословие, представители которого несли службу в рядах тяжелой конницы. В западной части римского мира этот социальный слой в перспективе стал моделью для формирования рыцарства, явившегося ядром всей феодальной системы западноевропейского средневекового общества».

На подготовку армии потребовался год, а в апреле 623 года византийцы через Армению двинулись против Ирана с севера. Была разорена провинция Атурпатакана. К тому моменту, как подступили персидские войска (Шахин с армией от Халкидона, Шахраваз из Сирии), византийцы отошли на заранее приготовленные позиции в междуречье Куры и Аракса. Но поход Ираклия, хоть и был тщательно подготовлен, поначалу не принес победы. Более того, персы снова вышли к Босфору, а потом договорились с аварами, и те осадили летом 626 года Константинополь. Но взять византийскую столицу штурмом не удалось.

Ираклий с союзниками-хазарами тем временем осадил Тбилиси, но персидский гарнизон крепости осаду выдержал. Осенью 627 года Ираклий двинулся в Месопотамию. Ему противостоял полководец Рахзад, который писал шаху, что сил у него недостаточно. Сражение состоялось возле Ниневии. Ираклий сам повел войска в бой, и византийцы, на стороне которых было численное преимущество, одержали победу. Они заняли летнюю резиденцию шахиншахов в Дастегерде. А в начале 628 года император двинулся на Ктесифон. Оборонять столицу с оружием в руках готовы были даже женщины, но на подступах к городу византийцев все же удалось остановить.

Эта война имела трагические последствия для самого Хосрова II. Среди его придворных возник заговор, который возглавлял старший сын шаха Кавад Шируйе. Он с отрядом воинов, сопровождаемый толпами горожан, застиг отца во дворце Вех-Ардашир, причем вся свита шаха разбежалась заранее, и защитить его было некому. Одна из легенд гласит, что оставшийся в одиночестве владыка долго сидел в саду, пока люди его сына рыскали по дворцу, но ощутил голод и попросил садовника купить ему на базаре еду. Денег при себе у шаха не было, он отрезал в уплату кусок пояса, вышитого драгоценными камнями. Это вызвало подозрение у торговца, и перепуганный садовник, не знавший правителя в лицо, рассказал, что камни дал ему неизвестный человек, который сидит у цветника…

Хосрова схватили и отправили в заточение, а вскоре после этого убили.