Часть II
Рассвет эмоциональных машин

11 марта 2011 года студия Walt Disney Pictures выпустила новейший анимационный фильм «Тайна красной планеты» (Mars Needs Moms). Автором сценария был знаменитый мультипликатор Беркли Брезед, продюсером – Роберт Земекис, создатель трилогии «Назад в будущее» (Back to the Future) и анимационного фильма «Кто подставил кролика Роджера» (Who Framed Roger Rabbit). У «Тайны» были все шансы стать хитом. Вместо этого она стала четвертым из самых низкокассовых фильмов в истории кинематографа. Фильм не только принес убытки на 137 миллионов долларов, но и стал последней каплей, из-за которой закрылась студия Disney Image-Movers Digital.

На протяжении десятилетий Земекис был одной из самых влиятельных фигур в Голливуде, успешным режиссером, сценаристом и продюсером. Он прославился тем, что использовал новые технологии, чтобы донести до зрителя свое уникальное видение. Одним из первых поддержав переход от целлулоидной пленки к цифровым технологиям, он снял в 2004 году «Полярный экспресс» (The Polar Express). В мультфильме использовалась технология цифрового захвата движений, превращающая настоящих актеров в реалистично выглядящих анимированных персонажей. Технология применялась при съемках «Беовульфа» (Beowulf) в 2007 году, и в том же году студия Disney совместно с ImageMovers открыла студию цифровой анимации ImageMovers Digital. Однако начинание просуществовало недолго. После экранизации «Тайны красной планеты» и почти через три года после объявления об открытии студии руководство Disney заявило, что к концу года студия прекратит свою работу. И хотя прошел всего год с момента выхода «Тайны красной планеты», этого времени было достаточно, чтобы руководство студии решило, что отложить фильм на полку будет слишком поздно. «Тайна красной планеты» стала вторым и последним проектом ImageMovers Digital.

Хотя Земекис процветал в 2000-е годы, некоторые его проекты критиковали за то, что его анимационные персонажи были «пугающими». В отличие от раннего анимационного проекта Земекиса «Кто подставил кролика Роджера», об остальных его анимационных фильмах, среди которых «Полярный экспресс», «Беовульф», «Рождественская история» (в которой захват движений Скруджа снимали с Патрика Стюарта) и «Тайна красной планеты», зрители говорили одно и то же. По словам критиков и аналитиков киноиндустрии, персонажи стали выглядеть слишком реалистично и перешли в область, известную широкой аудитории под названием «зловещая долина».

Первыми о психологии зловещего писали в начале XX века психологи Эрнст Йентш и Зигмунд Фрейд. Затем в 1970 году профессор робототехники Масахиро Мори опубликовал статью «Bukimi по tani», получившую в англоязычном переводе название «The Uncanny Valley» («Зловещая долина»)¹. Мори предположил соотношение между сходством объекта с человеком и симпатией наблюдателя к нему.

В общих чертах в статье говорилось о тенденции испытывать большую симпатию к объектам действительности, которые сильнее похожи на человека². Как уже говорилось в предыдущей главе, чем больше животные, машины и прочие объекты похожи на нас самих, тем вероятнее мы будем наделять их человеческими чертами и тем сильнее будет наша эмпатия по отношению к ним. Однако Мори отметил, что в этой тенденции наблюдается парадокс. В определенной точке этой шкалы у наблюдателей отмечается выраженное снижение эмпатии по отношению к объекту. Этот провал, отображенный на графике (рис. 1), стал основанием для использования слова «долина» в статье Мори. Наблюдателям не просто меньше нравился объект; у них вызывало отторжение нечто, сильно, но не полностью похожее на реального человека. В результате у них буквально возникало чувство отторжения и отвращения. На основании исследований Мори можно сказать, что наступает момент, когда объект – робот, кукла или анимационный персонаж – становится слишком реалистичным.

Это явление окажет значительное влияние на наши будущие отношения с технологией, в частности с эмоциональным программированием и социальной робототехникой. В отличие от базовых компьютерных приложений или промышленных роботов, используемых на конвейерных линиях сборки, эти области сосредоточены на создании систем, взаимодействующих с пользователями на эмоциональном уровне. Что может быть более непродуктивным, чем система, вызывающая отвращение у пользователя?

Перед тем как разобраться с некоторыми причинами существования зловещей долины и принципом ее действия, стоит отметить, что не везде эту теорию считают реальной или обоснованной. Многие считают, зловещую долину ничем не подтвержденными россказнями популярной психологии. Однако ряд недавних исследований на животных и людях показал, что это явление действительно существует. В 2009 году эксперимент специалистов в области эволюционной биологии из Принстонского университета показали, что макаки отводят взгляд от почти реалистичных изображений обезьяньих лиц чаще, чем от их карикатурных изображений или изображений настоящих обезьян³. 

Рис. 1. Зловещая долина (источник: основано на графике Масахиро Мори и Карла МакДормана)

Такое поведение ученые интерпретировали как дискомфорт, который испытывали обезьяны при виде подобных картинок. Результаты еще одного исследования, в котором участвовали люди, чьей задачей было рассортировать изображения лиц роботов по степени симпатии и доверия, также показали глубокую взаимосвязь, подтверждавшую гипотезу Мори⁴. Еще несколько исследований дали похожие результаты. Эксперименты, в которых использовались данные ФМРТ участников, смотревших во время сканирования на изображения людей, роботов и андроидов, подтвердили, что зловещая долина – реальное явление.

Наступает момент, когда объект – робот, кукла или анимационный персонаж – становится слишком реалистичным.

Почему это происходит и каким образом влияет на эмоциональное программирование? Ряд специалистов в области когнитивных наук предполагает, что эффект зловещей долины может быть вызван отсутствием связи между некоторыми участками мозга, которые мы используем, чтобы разделить на категории и упорядочить картину мира. По их словам, подобный когнитивный диссонанс возникает, когда ожидания, основанные на внешнем облике объекта, не оправдываются из-за каких-либо других его внешних черт или аспектов поведения.

Движение – часто используемый пример при описании подобного отсутствия связи, поскольку люди и животные обладают весьма характерной манерой двигаться. График, приведенный на рис. 1, подчеркивает важность движения, указывая на то, что эффект может быть более выраженным, если объект перед нами не статичен. Например, труп или зомби по сути мертвое тело, но зомби вызывает более сильную негативную реакцию, предположительно потому, что это объект, который не должен двигаться, но при этом движется. Кроме того, его манера двигаться не напоминает ни (неподвижный) труп, ни живого человека, вступая в конфликт с тем, что ожидает увидеть наше сознание. Что подтвердилось с помощью сканирования методом ФМРТ. И все же это объяснение не в полной мере убедительно, поскольку обычно мы переживаем конфликты визуальных сигналов и в других сферах своей жизни, но они редко вызывают у нас отторжение. Значит, существует другой рабочий механизм или хотя бы тесно связанный с этой гипотезой.

Еще одним объяснением эффекта зловещей долины может послужить инстинкт, развившийся в ходе эволюции, благодаря которому человек стремится избежать источников заболевания или людей, способных причинить ему вред. В общих чертах, мертвых тел и людей с заболеваниями, уродующими внешность, стоило избегать в первую очередь, особенно до появления современной медицины. Те, кто следовал этой мудрости, имели больше шансов выжить и передать свои гены потомству. Если врожденная реакция отвращения закреплялась на генетическом уровне, она передавалась из поколения в поколение, давая преимущество в выживании.

В теории управления страхом смерти сочетаются оба объяснения⁵. Теория управления страхом смерти относится к области социальной психологии и предполагает, что люди уникальны, поскольку мы – единственный вид, знающий о своей неминуемой смерти. Неизбежность этого факта вступает в прямой конфликт с желанием жить и вызывает страх. Культура частично решает проблему, придавая жизни ценность и значимость. Однако этого недостаточно, чтобы устранить проблему полностью. Теория управления страхом смерти предполагает, что большая часть нашей деятельности на протяжении жизни направлена на то, чтобы избежать беспокойства о смерти. Мы применяем разные стратегии, помогающие нам игнорировать экзистенциальную угрозу, с одной стороны, а с другой – прикладываем неимоверные усилия, чтобы избежать неминуемого прекращения своего существования.

Некоторые теоретики, например, Карл МакДорман, считают, что существует связь между эффектом зловещей долины и теорией управления страхом смерти⁶. Когда робот, персонаж анимации или другой объект становится слишком натуралистичным, любые несовершенства, заставляющие наше сознание превращать его из живого в неживое, могут спровоцировать эту реакцию, напоминая о том, что когда-нибудь мы все совершим переход от жизни к смерти⁷. Подобный механизм мог давать большое преимущество в выживании. Способность не застывать с панической атакой каждый раз, когда что-то напоминает нам о смертности, позволяет распоряжаться собственной жизнью разумно и эффективно. Затем, когда нечто действительно пробуждает в нас страх смерти, мы сможем либо быстро устраниться из ситуации сами, либо устранить причину страха, изменив свое положение и повысив шансы на выживание.

Если это верное объяснение эффекта зловещей долины, то нам не остается другого решения, кроме как тщательно обозначить границы этого эффекта (которые наверняка различаются у разных групп населения и слоев общества) и стараться его избежать. Очевидно, что реакция от просмотра фильмов ужасов и других форм развлечений полностью противоположна этому желанию.

Другие объяснения эффекта зловещей долины связывают испытываемое нами отвращение с выбором партнера. Они основаны на том, что мы отвергаем нездоровых или просто непригодных в качестве партнера особей, у которых не в порядке некоторые элементы. Сейчас по поводу эффекта зловещей долины ведутся многочисленные споры, но весьма вероятно, что его истинная причина кроется в сочетании двух или более вышеупомянутых факторов.

Хотя название «зловещая долина» появилось относительно недавно, сам эффект существовал на протяжении десятков тысяч, а то и миллионов лет. Стоит лишь оглядеться по сторонам, и мы увидим, как он в большей или меньшей степени проявляется в повседневной жизни. У некоторых людей он возникает при посещении Музея восковых фигур мадам Тюссо.

Или когда они первый раз видят протез вместо руки или ноги. Или если после периода уединения они встречают человека, который внешне очень отличается от прежнего партнера. Как и любой другой психологический эффект, он сходит на нет по мере привыкания, но для этого требуется время.

Современная пластическая хирургия демонстрирует, насколько умен наш мозг при распознавании «зловещего». Человек, сделавший пластическую операцию, для большинства из нас будет выглядеть «не таким», даже если мы не знаем, каким он был до процедуры. Это свидетельствует о том, насколько тонка грань наших представлений о «естественном» лице⁸.

Сможем ли мы, взаимодействуя с роботами, лучше понять эффект зловещей долины? Этим как раз занимается специалист в области робототехники Хироси Исигуро. Оставив карьеру живописца, Исигуро занялся робототехникой. Он получил профессорскую степень и начал создавать роботов, неотличимых от людей, насколько это возможно. Многих из этих роботов Исигуро называет геминоидами (от латинского слова «gemini», означающего «близнецы»). С каждым годом его роботы выглядят все естественнее и реалистичнее. Его совместная с коллегами работа продемонстрировала множество реальных проявлений эффекта зловещей долины, а также значительных трудностей в воссоздании человеческих черт и движений.

Интересно отметить, что сам Исигуро не уверен насчет причин возникновения эффекта зловещей долины. Много раз он заявлял, что реакцию людей на реалистично выглядящих человекоподобных роботов нельзя объяснить так просто. Люди часто считают его творения пугающими. Исигуро рассказывал, что его четырехлетняя дочь едва не разрыдалась от ужаса, когда увидела робота, похожего на нее. Несмотря на все это, работа Исигуро предполагает, что люди быстро адаптируются к присутствию роботов и со временем начинают меньше их бояться.

Эффект зловещей долины не ограничивается внешностью роботов или персонажей анимации. Он распространяется и на другие признаки, в основном на движение. Как упоминалось в пояснении к первому графику Мори, фактор движения повышает степень страха, при виде зомби боязнь мертвого тела превращается в ужас. Естественные движения обладают таким количеством нюансов и несут такую огромную информационную нагрузку. Передать движения намного сложнее, чем статичное выражение лица. Если вы смотрели фильм ужасов, например «Проклятие» (The Grudge), в котором разъяренные духи двигаются очень неестественно, вы могли испытать пронизывающий ужас, вызванный этим несходством. Эффект от движения духов можно описать едва ли не единственным способом: как будто существо другого вида натянуло на себя чужую кожу.

Практически полная противоположность – биологически выверенные движения некоторых механических роботов, например Биг Дога и Читы производства Boston Robotics. Каждый из них состоит из десятков или даже сотен моторов, сервоприводов и контуров на жестком металлическом каркасе. Разработчики не собирались придавать им сходство с реальными животными. Тем не менее стальные конструкции, множество сочленений и искусственный интеллект, который ими управляет, с такой точностью передают биологически обусловленную механику, что роботы ходят, бегают, поднимаются после падения, как живые существа. Когда они теряют и снова находят равновесие, они двигаются, как скелет жеребенка, который впервые встал на ноги (какой бы жуткой ни показалась эта картина).

Другой пример эффекта зловещей долины – натуралистичные протезы. Вид искусственной руки на том месте, где когда-то была настоящая, вызывает много интересных чувств и наводит на мысли о том, что теоретики, связывающие эффект зловещей долины со страхом собственной смерти, могут быть правы. В свете этих гипотез не исключено, что психология эффекта зловещей долины слишком сложна, чтобы сводить ее к одной причине или механизму.

Интерпретация и выражение эмоций – сложный навык, который мы приобретаем в первые годы жизни. По мере взросления каналы коммуникации совершенствуются: мы адаптируемся к культурным нормам, сознательным усилиям и, возможно, даже зеркальным нейронам. Как и основной канал коммуникации – устную речь, – умение считывать и передавать эмоции мы обретаем в начале жизни. В результате к подростковому возрасту мы более или менее обладаем природным знанием о том, какие эмоции в тот или иной момент приемлемы или не приемлемы. Потому нас зачастую застает врасплох чья-то неподобающая реакция на ситуацию – смех на похоронах или ярость посреди празднования. Общество прививает нам ожидания того, как мы сами и окружающие должны себя вести. Когда поведение слишком отклоняется от ожидаемого, мы называем виновника бестактным или говорим, что у него нет вкуса.

Когнитивный диссонанс возникает, когда ожидания, основанные на внешнем облике объекта, не оправдываются из-за каких-либо других его внешних черт или аспектов поведения.

Однако способность распознавать неуместные эмоции может работать значительно тоньше. Мимолетная усмешка или поднятая бровь иногда несут огромную смысловую нагрузку. Смена интонации или едва уловимая дрожь в голосе могут быть очень красноречивыми. Таким образом, неудивительно, что мы способны на раннем этапе обнаружить даже незначительные расхождения эмоциональных программ с человеческими нормами. Но по мере совершенствования и обретения все большего количества нюансов эмоциональные программы в итоге смогут приблизиться к уровню человека. И когда это произойдет, не вызовут ли они эффект зловещей долины и связанный с ней дискомфорт?

Сейчас это вопрос теоретический, но давайте порассуждаем. Программы синтеза речи постоянно совершенствуются, их уже практически не отличить от человеческой речи. В сочетании с программами, придающими синтезированному голосу эмоциональную окраску, становится сложно распознать, человек ли наш собеседник. Удастся ли программе нас провести? Или найдется какая-то мелочь, которая вызовет негативную реакцию и станет вербальным аналогом эффекта зловещей долины? Одно дело, если эффект возникает в программах, используемых для продаж по телефону, и совершенно другое – если речь идет о виртуальном консультанте или психотерапевте. Очевидно, что негативная реакция пользователя может перевесить все достоинства полезной во многих отношениях программы. Проблема становится еще серьезнее, если речь идет о контактных кризисных центрах, использующих программы для автоматизированного предотвращения самоубийств, когда неправильный ответ может спровоцировать трагические последствия.

Кроме того, существуют люди, использующие эмоциональные протезы, чтобы компенсировать недостаток эмоциональной отзывчивости. Мы уже упоминали MindReader Раны эль Калиуби, один из ее первых экспериментов в области эмоционального протезирования для людей с аутизмом. По всей видимости, это лишь начало целого ряда устройств эмоциональной помощи, которые будут применяться в будущем. Используя технологии дополненной реальности и распознавания эмоциональных образов, можно будет создать сколько угодно устройств для чтения эмоций. Только представьте устройство-протез для людей с повреждениями мозга, как у Эллиота (из истории в начале главы 3). Подобные устройства изменили бы чью-то жизнь!

Многие современные технологии с компьютерным интерфейсом уже помогают людям с ограниченными возможностями. Технология помогла расширить границы мира людям с нарушениями зрения и слуха. Люди с парализованными конечностями и даже синдромом изоляции смогли почувствовать, как изменилась их жизнь⁹. Интерфейсы, созданные с применением эмоционального программирования, не будут им уступать. По мере усовершенствования алгоритмов подобные устройства станут все более мобильными и доступными и изменят жизнь множества людей. Это лишь одна из причин, по которой эффект зловещей долины и его связь с эмоциональным программированием стоит изучить, понять и по возможности найти способ преодолеть.

Но это лишь начало. Точно так же, как создание ортопедических протезов рук и ног приводит к появлению конечностей и экзоскелетов, дающих суперсилу, а протез сетчатки может восстановить поврежденное зрение, настанет день, когда улучшения дадут человеку телескопическое зрение или способность видеть цвета сверх различаемого спектра, а эмоциональные протезы приведут к улучшению эмоций и эмоциональной чувствительности. Об этой разновидности изменений речь пойдет в главе 15, а сейчас поговорим о ряде трудностей, которые может вызвать эффект зловещей долины на пороге эры усовершенствований человеческого тела.

Человечество издавна искало способ усовершенствовать себя с помощью технологий. Многим людям претит идея об изменении собственного тела, однако человек, который не в состоянии воспользоваться естественными для большинства из нас возможностями, воспримет ее совершенно иначе. Протез конечности, кохлеарный имплант (для восстановления слуха), искусственное сердце – все это формы улучшения. Даже медицинские очки и трости – это базовые технологические замены утраченной функциональности. Так почему другие разновидности улучшения должны пугать нас, если они будут безопасными? Лишь потому, что они дают преимущество? Разве это законное оправдание для боязни и объявления вне закона?

Мы семимильными шагами движемся к наступлению новой эры, в которой технология постепенно заменяет или улучшает естественные человеческие функции. Каждое из улучшений может считаться важным и полезным, однако во многих отношениях их использование отдаляет нас от того, что, собственно, считается человеком. Значит ли это, что если не принять соответствующие меры, то все больше людей будут вызывать эффект зловещей долины (и антипатию) у других представителей человечества?

Это не мысленный эксперимент, или gedanken-experiment. В новом мире, который мы строим, может возникнуть неприязнь между группами, и не важно, по какому признаку люди решат разделиться на своих и чужих. Расслоение культурных норм может в перспективе спровоцировать куда большее разделение интересов, большую степень ненависти из-за выраженного неравенства, больше подозрительности в отношении тех, кого мы зовем другими.

Усугубит ли положение эффект зловещей долины? Будет ли он способствовать развитию ксенофобии, возможно, вызывая бессознательный страх смерти? Действительно ли нам легче расчеловечить то, что из-за различий, вызывающих антипатию, не укладывается в рамки наших представлений о базовой норме?

Наконец, этот эффект коснется не только улучшений человеческого тела, но и мира технологий. Начнем с того, что роботы и машины с искусственным интеллектом – вообще не люди. Но может ли наша инстинктивная реакция на них спровоцировать враждебность или агрессию, когда они обретут достаточно способностей, а возможно, даже сознание?

Возможно, такие опасения кажутся очевидными или излишними, но что произойдет, если обычные люди начнут методично улучшать себя при помощи имплантов и радикально изменят себя? О том, что мы движемся к трансгуманизму (или постгуманизму), технофилы говорят на протяжении десятилетий. В этих разговорах то и дело обсуждают двухуровневое общество, в котором существуют все возможные конфликты. Это вряд ли станет сюрпризом. Перед лицом ощутимой угрозы одна из первых естественных реакций – расчеловечивание других на основании несущественных различий. Таким образом мы стремимся оправдать свое враждебное и бесчеловечное поведение.

Важно отметить, что по мере совершенствования интерфейсов между машиной и человеком, прогресс, по крайней мере для некоторых людей, будет означать все большее слияние с технологией. О чем бы мы ни говорили: о физических или психических ограничениях, неравных способностях, самодельной модернизации или одобренных правительством процедурах, выполненных по стандартам, напоминающим предписания Управления по контролю за продуктами питания и лекарственными средствами США, – в ближайшие десятилетия, а может, и столетия, слияние человека и машины продолжится. Если подобные улучшения будут считаться эффективными и смогут эстетически приблизиться к точке неуловимости (но не достичь ее), то какой будет «естественная» эволюционная реакция общества? Чего нам ожидать от себя и окружающих?

Я упомянул установленную обществом базовую норму. Иногда в человеческом обществе применяют цвет кожи, акцент, религию, разрез глаз и другие физиогномические признаки (черты лица) в качестве маркера «чужого» по отношению к людям, которые в прочих отношениях на 99,999 % неотличимы друг от друга (что показывают данные дифференциального генетического анализа). Но почему таким маркером служит не группа крови или, скажем, плоскостопие? Возможно, некоторые маркеры связаны с визуальным восприятием или тем, насколько та или иная черта бросается в глаза. На сегодняшний день цвет кожи, черты лица и даже акцент наиболее заметны, а потому подвергаются нападкам. Но уже завтра такими маркерами могут стать устройства или алгоритмы, с помощью которых люди изменяют себя.

Также отметим, что подобное отвращение не носит универсальный характер. В одном обществе могут легко воспринимать разницу в цвете кожи (один из универсальных поводов для предвзятого отношения к людям), а в другом подобные различия вполне могут считать оправданием для убийства человека и даже для массовых убийств. Даже в одном и том же обществе отношение может разниться в зависимости от местности или принадлежности к социальной группе. Какие же изменения влияют на наше поведение? Что упорядочивает нормы всего населения?

Одним из таких факторов является привыкание: время, степень осведомленности, понимание того, что общих черт у людей намного больше, чем различий – реальных или надуманных. Возможно ли, что по прошествии достаточного времени ситуация полностью изменится? Учитывая диапазон приемлемых человеческих лиц и нейропластичность мозга, способны ли мы научиться принимать тех, чья внешность отличается от человеческой? И если да, то как далеко может зайти принятие? Расширит ли оно границы приемлемого или устранит эффект зловещей долины в принципе?

Разумеется, иногда привыкания недостаточно. Вернее, иногда оно не приходит достаточно быстро. Иногда некоторые группы населения выступают за принятие и изменение поведения общества, в то время как большинство людей не готово к переменам. Такое поведение может форсировать принятие или нормализацию видимых различий на законодательном уровне до того, как общество их примет. Ускорение может иметь негативные последствия в форме остракизма, изгнания в гетто и даже хуже. Мы поступим мудро, если изучим эффект зловещей долины и используем уроки истории, чтобы подготовиться к будущим конфликтам или вовсе их избежать.

И наконец, завершая тему зловещей долины, представьте себе будущее, в котором машины обладают сознанием, а также чувствами и эмоциями. Если эти машины осознают конечность собственного существования – не важно, будет ли оно значительно длиннее или короче человеческого, – не придется ли им выработать аналогичные защитные механизмы, чтобы избежать тревоги и прочих разновидностей экзистенциального кризиса? Что произойдет, если по той или иной причине этого не удастся достичь? Разовьется ли у искусственного интеллекта невроз или более тяжелое расстройство? Что произойдет, если мы ненамеренно спровоцируем подобную реакцию у сверхразумного искусственного интеллекта? Может показаться, что мы заигрываем с маловероятными сценариями, но будет безответственно не обдумать возможные последствия, если от них зависит выживание нашего вида.

Весьма возможно, что наша психологическая реакция на эффект зловещей долины – обоснованный и полезный механизм, который невозможно устранить, даже если мы захотим. Возможно, он защищает нас от уязвимостей, с которыми мы сталкиваемся в результате саморефлексии и осознания неизбежной смерти. А что если без этого механизма нам бы не удалось прожить свою жизнь так же эффективно, как с ним? Тем не менее, тщательно изучив реакцию, которую мы называем эффектом зловещей долины, мы могли бы извлечь из нее важные уроки на будущее. Как мы убедимся в следующей главе, это лишь немногое из того, чему нас может научить эмоциональное программирование.