Фейс-мэппинг

Фейс-хакингу в его современном виде чуть меньше трёх лет. В августе 2014 года японский художник и видеограф Нобумичи Асаи запустил проект OMOTE (что с японского переводится как лицо или маска) и записал видеоролик, демонстрирующий возможности проецирования динамического изображения на движущееся лицо. В феврале 2016-го совместно с Intel Асаи выпустил работу Connected Colors, в которой использовал более изощрённую (и более «природную») видеографику, которая то расходилась волнами по лицу модели, то заполняла его как татуировка. Это всё выглядело выразительно, но существовало только в качестве экспериментальных работ на видео. В том же месяце проходила 58-я церемония вручения премий Грэмми, где Intel совместно с Асаи в качестве технического и креативного директора впервые продемонстрировали фейс-хакинг вживую на большую аудиторию: в первые минуты выступления Леди Гаги с трибьютом Дэвиду Боуи на её лице растекалось что-то похожее на лаву, затем у глаза сформировался узнаваемый красный зигзаг, после чего на лице появился паук. Правда, на видео очевидно торможение проекции по отношению к резко дёргающемуся лицу исполнительницы: на тот момент технология была ещё не так точна.

Заметный прогресс можно было увидеть уже весной 2017 года: в марте Асаи выпустил очередную работу с фейс-видеомэппингом, в котором приняли участие две японские танцовщицы, составляющие популярный дуэт AyaBambi. Не говоря о том, что качество и динамичность видеографики сильно продвинулись вперёд, стоит также отметить, что в движениях головы объекты мэппинга стали более свободны: даже при резких поворотах вбок или взмахах вверх проекция на затормаживает и не срывается с контура. К тому же в этой работе площадкой для мэппинга стали сразу два человека; в некоторых местах проекция на лица синхронная, в некоторых – нет.

В общем виде технология выглядит следующим образом. Прежде всего необходимо создать 3D-модель лица человека, на которое будет осуществляться проекция. Нобумичи Асаи, в частности, физически накладывает разные виды макияжа на лицо, фиксирует его на фото, а затем с помощью фотограмметрии уточняет параметры «лицевого ландшафта» для создания объёмной цифровой модели лица. Имея 3D-модель и видеографику, созданную специально под неё, лицо человека очищают от макияжа, клеят на него несколько инфракрасных маркеров, после чего ряд из пяти ИК-камер способен фиксировать движения лица и сопоставлять их с компьютерной моделью. Дальше всё зависит только от мощностей компьютера, способных с высокой скоростью обрабатывать сенсорный трекинг.

Самое интересное касается проектора, формирующего графику на лице. Та высокая точность при быстром перемещении маркеров, которую можно было видеть в видеоработе INORI, была достигнута благодаря коллаборации с лабораторией Ishikawa Watanabe Токийского университета. Там ещё в 2015 году был разработан революционный проектор DynaFlash, который впервые в мире был способен учитывать изменение и движение плоскости, на которую падает проекция. На демонстрационном видео понятно, о чём идёт речь: если растянуть или перевернуть плоскость, те же самые манипуляции произойдут и с проекционным изображением. Главной особенностью DynaFlash является кадровая частота: он способен проецировать видео со скоростью 1000 кадров в секунду. Именно эта его характеристика в сочетании с трекинг-системой Асаи позволила создать технологию проекции на объекты, движущиеся с высокой скоростью. Как уже было сказано, примеров использования технологии в театре пока не замечено – это объясняется дороговизной проектора и необходимыми вычислительными мощностями, но вообще-то фейс-хакинг работает именно на революцию в перформативных практиках, полностью укладываясь в тренд визуального разъятия и цифрового преображения перформера в современном театре.

Звук

Использование звуковых технологий в театре относится в основном к категориям саунд-дизайна, то есть создания сложной и насыщенной звуковой среды, которая может играть поддерживающую роль или главную, но которой не определяется существование и развитие спектакля. И всё-таки есть примеры, когда работа со звуком – самое интересное, что в спектакле есть.

Один из таких примеров – спектакль британского режиссёра Саймона Макберни The Encounter, поставленный по мотивам романа Петру Попеску «Сияющая амазонка». Спектакль повествует об одном путешествии через джунгли; повествование устроено следующим образом. В зале, где проходит показ, к каждому зрительскому месту прикреплены стереонаушники, их обязательно следует надеть перед началом. На сцене находится единственный перформер – он же режиссёр, – его окружают аскетичные декорации в виде стола и каких-то коробок; задник обклеен серым поролоновым материалом. На сцене расположен пластмассовый макет головы на железной стойке – это специальный бинауральный стереомикрофон, на котором выделаны копии человеческих ушных раковин. Что, собственно, происходит в спектакле? Саймон Макберни ходит по сцене и, грубо говоря, надиктовывает аудиокнигу, воспроизводя текст по памяти, – то есть рассказывает историю, иногда осуществляя хитрые манипуляции с предметами, из которых получаются любопытные звуковые эффекты. На сцене кроме пластмассовой головы расположено много других микрофонов, которые записывают бинауральный звук и в онлайн-режиме отправляют его в наушники зрителям. К слову, с бинауральным звуком работают также и Rimini Protokoll – в одном из самых популярных их проектов Remote X, о котором мы подробно говорим в главе про театр без людей.

Другой пример, относящийся скорее к музыкальному театру, – спектакль швейцарского режиссёра Тома Луца Unusual Weather Phenomena Project. В этом спектакле Луц обращается к книге физика Уильяма Корлиса «Настольная книга необычных погодных явлений», в которой тот описывает свидетельски зафиксированные факты странных явлений природы. Книгу, напрашивающуюся в жанр «театра художника», Луц разбирает средствами театра музыкального. Перформеры в этом спектакле – одновременно и формальные функции визуального языка, и исполнители партий на музыкальных инструментах, сделанных музруководителем постановки Матиасом Вейбелем, постоянным коллегой Луца. Спектакль очень похож на сновидение: своей спокойной завораживающей красотой и крупными, ясными формами, которые в нем используются, – плотный свет, дым, огромные белые шары. Хватает тут и изобретательности, связывающей работу с современной академической музыкой: например, шары, наполненные гелием, на магнитных лентах надеваются на бобины магнитофона и кинетической силой прокручивают ленты, воспроизводя звуки, на них записанные.