В то время как базировавшийся в Шанхае Ли Хунчжан опирался на отряд наёмников Уорда, где преобладали британские офицеры и британское влияние, французы сформировали для Цзо Цзунтана свой «отряд иностранного оружия». Наёмные китайские солдаты с европейским оружием и под командованием европейских офицеров стали играть всё бо́льшую роль в войне с тайпинами.

Отряд под командованием Фредерика Уорда вырос до 5000 китайских солдат под командованием 150 иностранных офицеров. За успехи в боях с тайпинами Уорд получил чин маньчжурского чиновника 3-го класса, крупнейший шанхайский компрадор Ян Фан послал ему свою дочь в качестве наложницы, а его отряду присвоили пышное наименование «Всегда побеждающей армии». Тем не менее «Всегда побеждающая армия» не раз терпела поражения от войск Ли Сючэна.

21 сентября 1862 года, во время очередного кровопролитного штурма города Нинбо, Фредерик Уорд, одним из первых забравшийся на стену, был ранен в живот. Через день он скончался, и по его предсмертной воле был похоронен в форме китайского генерала. Пока его соотечественники вели свою гражданскую войну на Североамериканском континенте, американец Уорд за время боёв в Китае получил 14 ранений…

После смерти Уорда командование над «Всегда побеждающей армией» принял его заместитель и тоже гражданин США Генри Барджевайн. Уже Уорд имел проблемы с цинскими чиновниками, опасавшимися роста его военной силы, и с британскими представителями, стремившимися утвердить своё безраздельное влияние в рядах «Всегда побеждающей армии». У его преемника Барджевайна ещё более обострились отношения с англичанами, и он даже умудрился на некоторое время перейти к тайпинам, прихватив с собой 40 тысяч лян серебра (1480 кг).

Американский кондотьер стал военным советником у Ли Сючэна, который через него пытался организовать приобретение европейского оружия. Позднее авантюрист Барджевайн несколько раз перебегал на сторону правительственных войск и обратно (что, впрочем, было характерно для этой затяжной гражданской войны). Ли Хунчжан хотел казнить перебежчика, но встретил решительный протест американского консула. В итоге Барджевайн, в очередной раз перебежав на сторону тайпинов, в 1865 году погибнет в одном из боёв, пытаясь вплавь уйти из окружения.

В феврале 1863 года «Всегда побеждающую армию» возглавил англичанин Чарльз Гордон, раненный при осаде Севастополя ветеран Крымской войны, наконец утвердивший среди наёмников на китайской службе бесспорное британское влияние. Для усиления Гордон получил от соотечественников 52 английские пушки. В дальнейшем наёмное войско Гордона действовало совместно с армией Ли Хунчжана, зачастую выступая её основной ударной силой.

С армией Цзо Цзунтана, другого цинского военачальника из группировки Цзэн Гофаня, взаимодействовали «войска иностранного оружия», снабжаемые французами, – несколько тысяч обученных по-европейски китайских солдат под командованием французского полковника Ле Бретона. В январе Ле Бретон, уже бригадный генерал, получил смертельное ранение, и его сменил французский подполковник Тардиф де Муадре.