Красиво одетая молодая женщина разглядывает витрины магазинов в модном торговом районе. Она выбирает новую сумочку. На стекла ее очков от Louis Vuitton идет поток данных о товаре, которые она рассматривает. Как только она переводит взгляд от одной вещи в витрине магазина на другую, очки дополненной реальности сразу показывают цены и отзывы на разные товары.

Когда она приближается к торговому центру, камера наблюдения за улицей записывает ее изображение и передает на главную компьютерную систему магазина. Оттуда оно поступает нескольким сервисам анализа данных. Почти мгновенно они сообщают информацию о покупательнице и ее возможных предпочтениях. Проанализировав ее одежду, компьютер рассчитывает, что с вероятностью 73,6 % она купит юбку конкретной модели, если предложить ее по сниженной цене. Один из программных сервисов быстро выводит вращаемое 30-изображение покупательницы в юбке, которая сочетается с несколькими другими деталями гардероба и аксессуарами. Поскольку эта женщина подписана на несколько местных сервисов, предоставляющих купоны, магазин может вывести персонализированную рекламу прямо на ее очки.

Покупательница быстро смотрит на рекламу, но ей неинтересно. Анализ выражения ее лица, позы и походки в режиме реального времени показывает, что у нее, скорее всего, уже есть похожая юбка. Это было бы известно, если бы покупательница не запретила коммерческий доступ к ее аккаунтам в социальных сетях. Тем не менее это вся дополнительная информация, необходимая компьютеру. Через несколько миллисекунд он получает обновленную информацию от сервиса обработки больших данных: с вероятностью 92,7 % покупательница приобретет кожаную куртку из коллекции нового сезона. Следующее рекламное изображение, на котором покупательница уже в куртке, пересылается на очки буквально через секунду вместе с флэш-купоном, действующим в течение тридцати минут. Всего через несколько десятков шагов ситуация полностью меняется. Несмотря на старания, покупательнице не удается скрыть интерес. По ее лицу видно, что она очень хочет такую курточку. Еще через несколько секунд она заходит в магазин и быстро совершает покупку.

Растущая популярность сенсорных технологий в повседневной жизни, больше известная под названием «Интернет вещей», в сочетании с прогнозными способностями сервисов по анализу больших данных изменяет наши отношения с окружающим миром, и не всегда в лучшую сторону. При обсуждении подобных технологий, вторгающихся в жизнь, мы говорим о личных границах, независимости и даже самоопределении. Ситуация выглядит неприятно и приобретает даже большие масштабы, если добавить возможность быстро считывать и интерпретировать эмоциональные реакции и реагировать на них.

Рассмотрим приведенный выше сценарий. Способность считывать невербальные реакции покупательницы позволила программам магазина создать коммуникационную петлю обратной связи в реальном времени. Далее программа смогла мгновенно адаптировать свою стратегию, заманив женщину в магазин, и продать товар. Если бы вторая попытка оказалась неудачной, вариантов развития событий могло быть сколько угодно. Схема принятия решений программы основывалась на чувствах и мотивах, о которых сама покупательница могла и не подозревать. Обработка данных происходила очень быстро, на порядки быстрее, чем мыслительные процессы человека.

Очевидно, что посетителей магазинов часто убеждают купить совершенно не то, что они собирались, или не то, что им нужно. Способность взаимодействовать с нашими базовыми ощущениями в реальном времени усиливает манипуляцию. Отношения меняются, утрачивают баланс и все больше напоминают отношения хищника и добычи.

Как упоминалось, рекламодатели и специалисты в области маркетинга уже начали осваивать эмоциональное программирование. К тому времени, когда эти технологии станут более доступными и легкими в использовании, их начнут применять в любой сфере взаимодействия компьютеров с людьми. Мы, конечно, можем надеяться на то, что в отношении использования подобных технологий будет разработан некий этический кодекс, но мы не можем предполагать наверняка. Также маловероятно, что все будут придерживаться этого кодекса одинаково честно, независимо от того, насколько официальным он будет.

Это уже очень сложно, но описанные технологии продолжат развиваться и создавать более сложные цели. Сейчас уровень технической грамотности, необходимый, чтобы воплотить подобное в реальности, не по силам даже крупнейшим торговым центрам. Но это только с позиции сегодняшнего наблюдателя. На начальном этапе эмоциональное программирование уже используется как инструмент маркетинговых исследований. Со временем и по мере развития алгоритмов, вычислительной мощности и пропускной способности появятся эмоционально чувствительные системы, которые предоставят продавцам намного более простые в применении возможности.

Если предположить, что такие возможности принесут выгоду (а так и будет), то они разовьются до уровня систем и сервисов, известных под названием «приложение как услуга». Компании могут использовать интегрированные сервисы для решения различных задач за умеренную плату, не разрабатывая собственное программное обеспечение и базы данных. Подобные сервисы могли бы объединять и автоматизировать многие сложные аспекты распознавания выражений лиц, 3D-сканирования, эмоционального программирования и дополненной реальности, позволяя компаниям привлекать клиентов моментально, в реальном времени и с минимальными усилиями. Примерно как отправить письмо по электронной почте или проверить документ на отсутствие ошибок.

Мы должны учитывать эти обстоятельства, поскольку возможностей для манипулирования на эмоциональном уровне будет множество, и они радикально изменят баланс в отношениях между продавцом и покупателем. Представьте, что вы в демонстрационном зале салона по продаже автомобилей и вас обслуживает талантливый продавец. Вы хотите купить машину, но не хотите платить больше, чем собираетесь вложить в это значимое приобретение. В течение всего времени, пока вы с продавцом договариваетесь и торгуетесь, вы пытаетесь прочитать друг друга. Насколько вам удастся сбить цену? Продавец думает, какой минимум он может предложить, чтобы сделка не сорвалась? В конечном итоге, исходя из того, что сделка совершена, вы приходите к соглашению насчет цены, и автомобиль ваш.

Каким был бы сценарий, если бы на месте одного из участников переговоров была машина, способная считывать невербальные сигналы и реагировать на них с невероятной скоростью и повышенной точностью? Думаете, удалось бы вам выйти из демонстрационного зала не с пустым кошельком? Держу пари, что нет.

А может, вы много лет проработали в компании, а прибавки к зарплате все нет и нет. Вы договариваетесь о встрече и формулируете причину для прибавки, но вместо интервью с человеком специалист из кадровой службы предлагает вам пообщаться с программой обсуждения заработной платы. Вы излагаете свои причины для повышения, включая собранные вами показатели пользы, которую вы принесли компании. Однако программа не только имеет мгновенный доступ к данным о вашей результативности, из которых можно выбрать информацию о ваших неудачах, но и мгновенно и точно считывает ваш уровень уверенности в себе, неуверенности, смущения и расстройства. И это лишь немногие чувства из всех, что вы испытываете. Добьетесь вы заслуженной прибавки к зарплате или программа в очередной раз окупит стоимость своей лицензии?

А как насчет более уязвимых членов общества? Пожилые люди часто становятся жертвами мошенников, в то время как более молодые и здравомыслящие люди лишь укоризненно качают головой. Конечно, нейробиологическое исследование старения показывает, что у пожилых людей снижается восприимчивость к сигналам, относящимся к доверию, но нельзя сбрасывать со счетов и то, что они не так хорошо понимают дивный новый мир, в котором живут¹. В среднем пользователи гораздо лучше разбираются в тех технологиях, с которыми они выросли, чем их родители, бабушки и дедушки. Из-за этого пожилым людям нужно проявлять здравый смысл. Рассматривая сценарии будущего развития технологий, подобных эмоциональному программированию, можно представить, что старшее поколение будет взаимодействовать с ними намного естественнее, чем их дети. При возможности мгновенно считывать и интерпретировать ощущения пожилых людей для жуликов и аферистов наступит полное раздолье. Навязывание пенсионерам сомнительных покупок, чтобы вытянуть из них все накопления, и манипуляции одинокими пожилыми людьми, чтобы заставить их написать завещание на имя мошенника, могут оказаться лишь верхушкой айсберга.

Если вы сейчас спрашиваете, как такое возможно, подумайте над одной поучительной историей. В 2006 году разведенный мужчина средних лет по имени Роберт зарегистрировался на интернет-сайте знакомств, чтобы общаться с женщинами. Обменявшись с некоторыми из них сообщениями в чате и несколькими письмами по электронной почте, он познакомился со стройной привлекательной брюнеткой по имени Светлана, в чьем профиле было сказано, что она живет в Калифорнии недалеко от него. По-английски она говорила не слишком хорошо, но ее письма были теплыми и задушевными. Вскоре Светлана призналась, что живет не в Калифорнии, а в России, в Нижнем Новгороде. Поскольку все бабушки и дедушки Роберта переехали в Соединенные Штаты из России, его это абсолютно не смущало, наоборот, было еще одной общей чертой.

Несколько месяцев Роберт и Светлана переписывались по электронной почте, и Роберт понял, что влюбляется. Однако Светлана постоянно отказывалась поговорить с ним по телефону. Наконец, на пятый месяц переписки Роберт решил выкроить время и приехать к ней в гости. Но с приближением дня отъезда у Роберта появились нехорошие предчувствия. Что-то не давало ему покоя. Письма Светланы были какими-то странными, и дело было даже не в ее плохом владении английским. Роберт решил отправить ей для проверки письмо:

Светлана написала в ответ длинное письмо о своей матери, ни разу не упомянув абракадабру из его прошлого сообщения. Роберт был ошеломлен: все это время он общался с чат-ботом, компьютерной программой, написанной для поддержания бесед с людьми.

Доверчивость Роберта вполне простительна. В конце концов, любой из нас может принять желаемое за действительное и попасть в ловушку собственных эмоций, гормонов или одиночества. Кроме того, Роберт – бывший главный редактор журнала Psychology Today Роберт Эпштейн, написавший множество книг об отношениях и любви и один из ведущих экспертов в области общения человека с машинами – в частности чат-ботами. На самом деле в 1990-х годах Эпштейн руководил конкурсом на премию Лёбнера в области искусственного интеллекта. В этом соревновании жюри определяет самую удачную попытку отличить беседу с компьютерной программой от бесед с настоящими людьми.

Ко всему прочему Роберт признается, что совсем скоро после этого случая его обманул еще один чат-бот. Роберту даже не пришлось убеждаться в этом самому. Ему написал программист из Великобритании, который знал, кто такой Роберт, и посчитал нужным предупредить его, что он общается с компьютерной программой.

Никто не знает наверняка, сколько ботов на сайтах знакомств и в социальных сетях, эксперты говорят, что их несколько миллионов. В последние годы таких программ стало больше, и они стали сложнее. По оценкам исследования 2014 года, 56 % интернет-трафика исходит от ботов – программ, предназначенных для выполнения часто повторяющихся операций². В исследовании сообщалось, что половина этого трафика исходит от полезных ботов, но примерно 30 % – от вредных: агрегаторов, хакерских программ, спамеров и имитаторов. Отмечалось, что 20 % интернет-трафика исходит от имитирующих программ, в том числе чат-ботов. Такие программы используются для совершения разного рода киберпреступлений, число которых постоянно растет.

В определенных сферах эмоциональный интеллект задействуется постоянно: при оценке рисков, взаимодействии с гражданскими с обеих сторон конфликта и при поддержании тесных связей между боевыми товарищами.

Когда технологии эмоционального программирования найдут применение в различных сферах, мы, скорее всего, столкнемся с множеством неприятностей. Чтобы понимать и предсказывать поведение преступников и личностей, представляющих интерес для следствия, будет полезно использовать технологии эмоционального программирования в работе правоохранительных органов и при сборе разведывательных данных. Могут ли эти технологии изменить или усугубить нарушения наших гражданских свобод со стороны служащих госаппарата? По всей видимости, такая ситуация будет распространенной.

Конечно же, есть определенная польза в том, что люди, которые нас защищают, используют технологии эмоционального программирования. Полицейские, агенты разведки и сотрудники таможенных служб регулярно сталкиваются с обманом. В конце концов, обман – основа преступления. Без него большинство правонарушений были бы невозможны или неудачны. Обман определяется как намеренное сообщение информации, чтобы создать или поддержать ложное восприятие или убежденность³. Работа правоохранительных органов основана на раскрытии совершённых преступлений и на проверке прошлых, настоящих и будущих намерений. В этой сфере технология, способная измерять или считывать эмоции, станет отличным инструментом.

Для успешного взаимодействия внутри вида нужна система, основанная на взаимном альтруизме, в которой ни одна из особей не получает нечестного преимущества над другими в рамках ячейки общества⁴. Благодаря этому становятся возможными общение и социальная сплоченность. Большую часть времени мы проводим, общаясь с другими людьми, и считаем, что все, что нам говорят, правда⁵. Без этой уверенности общение становится не только неэффективным, но даже хуже, чем бесполезным. Психологи определили, что в основном мы действуем на основании склонности к правде, то есть предпочитаем считать правдой все, что нам говорят. Такое исходное предположение повышает эффективность общения.

С другой стороны, исследователи полагают⁶, что обман мог сыграть (и продолжает играть) роль в естественном отборе. Благодаря преимуществам, которые обман дает тем, кто удачно им пользуется, возникает убежденность, что риск подобного поведения оправдан. В некоторых случаях это может быть верно. Средства и методы обмана многочисленны, но есть у них общая черта: намерение сместить относительный баланс сил в пользу обманщика.

Масштабный мета-анализ результатов изучения 206 документов и 24483 записей судей показал, что всем нам, в том числе полицейским и судьям, удается отличить правду от лжи с вероятностью, немного превышающей обычную случайность. В среднем люди правильно определяют ложь всего в 54 % случаев⁷. Стоит отметить, что если большинство людей действуют на основании склонности к правде, то сотрудники органов правопорядка придерживаются другой крайности и считают, что люди склонны привирать. Тем не менее ни один из этих подходов не эффективнее другого. В ходе еще одного исследования, в котором приняли участие 509 человек, в том числе персонал правоохранительных органов, таких как Секретная служба США, ЦРУ, ФБР, Агентство национальной безопасности и Управление по борьбе с незаконным оборотом наркотиков, только сотрудникам Секретной службы с вероятностью выше случайной удалось определить, лжет ли собеседник. Но даже их успех составил всего 64 %.

Нет ничего удивительного в том, что люди по всему миру ищут надежные способы определения лжи. Если отбросить позорные стулья из прошлого и сжигание ведьм, то научный метод выявления обмана начал применяться лишь в конце XIX века. В то время несколько открытий и изобретений, основанных на спонтанных реакциях человека, были объединены в первую версию современного детектора лжи. Детектор лжи, или полиграф (что означает «много написанного»), изобрел Джон А. Ларсон в 1921 году в Беркли, штат Калифорния. Устройство одновременно записывало и отображало изменения пульса, артериального давления и частоты дыхания у проверяемого.

Со временем полиграф много раз изменяли и усовершенствовали, в частности добавили функцию измерения электропроводности кожи проверяемого. В конце XX века появились алгоритмы и программное обеспечение для более эффективного анализа данных, полученных полиграфом. Сейчас проверка на полиграфе – один из лучших и исключительно технологичных методов подтверждения правды и выявления обмана.

Тем не менее эффективность полиграфа остается крайне спорной. Разночтения в результатах проверки вызывают множество противоречивых мнений. Кроме того, нельзя отличить ответы человека, который говорит правду, но взволнован, и того, кто действительно лжет. Дело усложняет то, что некоторые люди специально тренируются, чтобы провести машину, и лгут, не проявляя спонтанных реакций, которые бы их выдали. Поэтому многие суды и законы не считают проверку на полиграфе приемлемым доказательством.

С появлением эмоционального программирования ситуация может измениться. Вспомогательные технологии, такие как распознавание лиц, уже используются в крупных городах: в магазинах, на рекламных щитах, спортивных стадионах и на улицах – в видеокамерах систем замкнутого типа. В некоторых городах цифровые табло показывают целевую рекламу в зависимости от пола, возраста и этнической принадлежности смотрящего. Цифровые табло, разработанные такими компаниями, как Immersive Labs (которую в 2015 году купила компания Kairos), могут определять характеристики целевой аудитории с расстояния 7,6 метра при равномерном освещении для двадцати пяти человек одновременно. Умное телевидение и системы, оснащенные Microsoft Kinect или веб-камерами, можно запрограммировать на определение демографических или иных данных человека, стоящего или сидящего напротив. Полученная информация позволяет мгновенно подбирать для него специальную информацию, в том числе рекламную. В Великобритании технологии распознавания все чаще применяются в изображениях, передаваемых через шесть миллионов камер слежения, установленных по всей стране.

И это только начало. В 2015 году база данных ФБР стоимостью в 1 миллиард долларов, известная как Программа идентификации нового поколения, содержала данные для распознавания лиц примерно трети населения США, а также другие биометрические данные, включая отпечатки пальцев, отпечатки ладоней и данные сканирования сетчатки глаза. В том же году «Wall Street Journal» сообщил, что компания Eyeris, производящая ПО для распознавания эмоций, «продала свой программный продукт не называемым федеральным правоохранительным структурам для использования при допросах»⁸. По мере того как компьютерная обработка будет наращивать вычислительную мощность и получать широкое распространение, на смену распознаванию лиц придет распознавание эмоций в режиме реального времени. Как и все технологии распознавания, она будет совершенствоваться достаточно быстро.

Очевидно, что правоохранительным органам давно были нужны инструменты, чтобы считывать эмоции и выявлять обман. Теперь, после стольких лет, технология готова совершить большой прорыв и воплотить эту возможность. Примут ли ее на вооружение правоохранительные органы? Или откажутся от ее использования ради соблюдения личных границ и гражданских прав и свобод? А ведь этот вопрос непременно поднимут некоторые организации, такие как Американский союз защиты гражданских свобод и Фонд электронных рубежей. По всей вероятности, они предпочтут первый вариант.

Когда заходит речь о личной безопасности, общественность каждый раз демонстрирует, что предпочтет уступить часть гражданских прав и свобод в пользу усиления безопасности. Мы уже наблюдали это после 11 сентября 2001 года, когда без малейших возражений подписали Акт патриота США. В 2006 году в рамках Акта об оперативном наблюдении за коммуникациями личностей, подозреваемых в терроризме, телефонные разговоры и электронную переписку иностранцев стали отслеживать без санкций суда. Как всегда, подобными средствами неизбежно будут злоупотреблять, а когда это случится, общественность резко изменит мнение на противоположное.

Программное средство, способное удаленно интерпретировать эмоции, можно использовать для поведенческих манипуляций. Это должно глубоко обеспокоить всех нас. Как может измениться идея перехвата при выполнении тайных операций? Как далеко может зайти следователь на допросе, добиваясь признания от того, кого сочла виновным компьютерная система?

Кроме того, существует проблема ложной памяти. Исследования показывают, что эмоции причудливым образом искажают наши воспоминания. А негативные эмоции повышают склонность к образованию ложных воспоминаний⁹. То есть человек убежден в том, что он помнит событие, хотя на самом деле оно не происходило. Система для чтения эмоций в процессе достижения своей цели, например признания, может умышленно или неумышленно создавать петлю обратной связи. Без должной защиты цепь вопросов, следующая за каждой невербальной реакцией, может непреднамеренно создавать ложные воспоминания, которые в итоге приведут к признанию. Необходимо учитывать, что компьютеры не устают, в отличие от людей. Как только усталость начнет брать свое, степень уязвимости человека повысится и также поможет добиться желаемого признания.

Хотя защита гарантирует гражданские права и свободы во многих демократических странах, остается высокий риск злоупотребления подобными методами наблюдения и допроса. Если это произойдет, то, вероятно, общественное отношение к технологиям чтения эмоций радикально изменится в противоположную сторону. Изменение общественного мнения может привести к полному отказу от использования эмоциональных технологий в подобных целях. Но, как мы уже не раз убеждались, после запрета технологии переходят в теневой сектор, где возможность регулировать их использование практически отсутствует, а потенциал для злоупотребления огромен.

В некоторых государствах соблюдение личных свобод ничем не гарантировано. Самодержец или диктатор с радостью ухватится за средство, с помощью которого он сможет усилить и удерживать власть. Достаточно веские причины для того, чтобы опасаться применения эмоционального программирования в военных целях.

Актуален и вопрос получения разведывательных данных. Опять же может ли технология распознавания эмоций повлиять на правдивость получаемых данных? Повысит ли петля коммуникационной обратной связи их надежность или понизит?

Возможно, мы выходим на новое поле битвы. Будет ли такое оружие морально неуязвимым? Из тех же соображений, по которым подозреваемые в совершении преступлений должны быть защищены при допросе с применением эмоциональных машин, допрос шпионов и военнопленных с применением аффективных технологий также может считаться негуманным отношением. Разум человека – самое личное и самое ценное из всего, что ему принадлежит. Вмешательство в него, насаждение ложных воспоминаний и эффективное переписывание самовосприятия практически равносильно уничтожению личности. Можем ли мы прийти к тому, что нам понадобится Женевская конвенция для защиты военнослужащих от аффективных технологий?

Кроме того, государственный режим способен применить подобные технологии против гражданских, даже против собственного народа. Принимая во внимание перспективу вмешательства в психику, в какой момент закончится пропаганда и начнется нарушение прав человека? Эмоциональное программирование приобретает все больше возможностей и применяется все шире, но есть ли способы технической защиты, которые могут остановить или предотвратить подобные нарушения? Или нам придется полагаться лишь на санкции правоохранительных и управляющих органов?

Наконец, как подобные технологии соотносятся с концепцией свободных и честных выборов? Манипулирование эмоциями уже рассматривается как честная игра в битве за политическую власть, но что произойдет, если манипуляциями будут заниматься машины? Машины, которые могут присутствовать где угодно, в любое время, бесцеремонно принуждая и сдержанно увещевая. Насколько свободными и честными будут выборы, если избиратели не будут уверены в собственных чувствах и собственном мнении?

Может ли какая-нибудь из этих ситуаций стать реальностью? Очень просто рассматривать зарождающуюся технологию и исключить подобный сценарий из-за недостатка сложности, вычислительных мощностей или субъективной ценности. Однако, как уже упоминалось, развитие технологий в геометрической прогрессии означает, что совсем скоро эмоциональное программирование может превратиться в радикально новый источник власти. Закон Мура, закон Крайдера, закон Меткалфа и прочие закономерности отмечают, что многие аспекты мира, созданного человеком, совершенствуются в геометрической прогрессии. У нас нет оснований полагать, что развитие эмоционального программирования будет происходить иначе.

Как видим, при неправильном использовании перспективная технология может наделать дыр в нашем социальном полотне. Проблемы достаточно масштабны и имеют множество нюансов, которые стоит продумать и обсудить. Поскольку однозначные решения в этой книге не рассмотрены, кажется разумным начать дискуссию именно сейчас, пока есть время повлиять на развитие эмоциональных машин.