Книга: Это злая разумная опухоль
Назад: «Люди Икс» и Опра: размышления о «Логане» (Блог, 6 марта 2017 года)
Дальше: Жизнь под надзором FAST (Журнал Nowa Fantastyka, апрель 2015 года)

Cambridge Analytica и другой тест Тьюринга
(Блог, 29 марта 2017 года)

Ближе к концу недавнего немецкого фильма «Er Ist Wieder Da» («Он снова здесь») Адольф Гитлер – переместившийся сквозь время в 2015 год – продолжает то, что начал. На крыше телестудии, поспособствовавшей его возвращению к власти (телевизионщики думали, что просто эксплуатируют особенно безвкусный интернетовский мем во имя рейтингов), недотепа-фрилансер, обнаруживший «лучшего в мире имперсонатора Гитлера», противостоит своему чудовищу Франкенштейна – однако Гитлер оказывается неубиваемым. И, что хуже, он делает несколько точных замечаний:
«В 1933 году люди не были обмануты пропагандой. Они избрали вождя, который открыто излагал свои планы с превосходной четкостью. Немцы избрали меня… обычные люди, решившие избрать необычного человека и доверить ему судьбу страны.
Что вы хотите сделать, Савацки? Запретить выборы?»
Это хороший фильм, смешной и страшный, и социологически правдоподобный (черт побери, возможно, даже социологически неизбежный), а учитывая, что одна из реплик Гитлера – это «Сделаем Германию снова великой», неудивительно, что в последние несколько месяцев его открывают заново. Представьте себе гибрид «Бората», «Терминатора» и «Весны для Гитлера», заключающий в себе идеально воссозданный мем про Гитлера в бункере.
Но это противостояние на крыше – оно, мне кажется, проникает в подлинную суть вещей: «Что вы хотите сделать, Савацки? Запретить выборы?»
Я ощущаю примерно то же самое каждый раз, когда читаю очередную гневную обличительную речь о Cambridge Analytica.
В последнее время Интернет просто кишит такими материалами. Подробности туманны, однако то, что следует уяснить, видно уже по заголовкам: «Расцвет военизированной пропаганды с помощью искусственных интеллектов»; «Погубят ли демократию большие данные и искусственный интеллект?»; «Роберт Мерсер, миллиардер, разбогатевший на больших данных, ведет войну с традиционными СМИ».
Краткая выжимка примерно такова: злой компьютерный гений из правых разработал пугающе эффективные технологии сбора данных, которые – основываясь исключительно на подсказках, собранных в социальных сетях, – знают отдельных избирателей лучше, чем их друзья, коллеги и даже родные. Таким образом становится возможен «поведенческий микротаргетинг»: предвыборная агитация, рассчитанная не на города, округа или демографические группы, а на вас. Лично. Бот для каждого избирателя.
А значит, в опасности сама демократия.
Опустим пока тот факт, что США все равно не действенная демократия (разве что вы считаете «демократией» систему, в которой – если процитировать Тома Пикетти – «Если большинство граждан не соглашается с экономическими элитами и/или группами интересов, оно обычно проигрывает»). Проигнорируем все неудобные сомнения в том, что те люди, которые сейчас кричат о Cambridge Analytica, были бы настолько же против подобной технологии, если бы она использовалась в интересах Клинтон, а не Трампа. (Не то чтобы у демократов не было собственных алгоритмов, собственных систем таргетинга с базами данных; просто эти алгоритмы были отстойными.) Отбросим очевидные идеологические элементы и сосредоточимся на основном аргументе: чем лучше Они тебя знают, тем точнее Они могут настроить свое послание. Чем точнее Они настроят свое послание, тем меньше у тебя свободы. Если дословно процитировать пост Хельбинга и др. в блоге SciAm,
«Тенденция сдвигается от программирования компьютеров к программированию людей». [Непрерывный курсив любезно предоставлен авторами оригинала]
Или вот что пишет Берит Андерсон на Medium.com:
«Вместо того, чтобы иметь дело с обманщиками-политиками, мы можем вскоре стать свидетелями кембрийского взрыва патологически лгущих политических и корпоративных ботов, которые будут манипулировать нами все более умело».
Вы ожидаете, что я пущу при виде этого слюну, верно? Что может быть мне больше по вкусу, чем макиавеллистический код, который считает нас не самостоятельными существами, а физическими системами, наборами вводов и выводов, чьи параметры состояния не демонстрируют ни малейшего следа Свободной Воли? Так и вижу Валери, выбивающую свои аритмичные стуки по люку, перепрограммируя экипаж «Тернового венца» без его ведома.
И я действительно пускаю слюну. В некотором роде. Я пожал плечами, когда выяснилось, что машине Мерсера хватило 150 фейсбучных лайков, чтобы узнать кого-то лучше его родителей (черт, да вы бы меня узнали лучше моих родителей на основе где-то трех), но удивился гораздо сильнее, выяснив, что 300 лайков достаточно, чтобы система узнала меня лучше, чем знает Кейтлин. И уж точно не нужно меня убеждать, что достаточная вычислительная сила вкупе с достаточным количеством информации могут предсказывать поведение человека и манипулировать им.
Но и что с того? Так же всегда было, нет?
Нет, утверждают Хельбинг и его друзья:
«Персонализированные реклама и ценообразование не могут сравниться с классической рекламой или скидочными купонами, потому что последние не адресованы конкретному человеку, а также не вторгаются в наше личное пространство с целью воспользоваться нашими психологическими слабостями и снизить критичность нашего восприятия».
Ой, да перестаньте вы пороть хуйню.
Они «пользовались нашими психологическими слабостями, чтобы снизить критичность нашего восприятия» задолго до того, как первая красотка со стенда кокетливо захихикала на хьюстонском автошоу; с тех пор, как первого гукающего младенца использовали для продажи шин Goodyear; с тех пор, как Международный фонд защиты животных решил, что соберет больше пожертвований, если покажет не гигантских банановых слизней, а то, как Лоретта Свит обнимается с бельками. Реклама пытается снизить критичность вашего восприятия по определению. Каждый безвкусный антиабортный плакат, каждый неизменно милый малыш, страдающий животом на местной автобусной остановке, каждый мультяшный медведь, творящий неестественные вещи с туалетной бумагой, – это попытка перепаять ваши синапсы, буквально изменить ваше сознание.
Ах, но ведь такая реклама не нацелена на отдельных людей, правда же? Это грубый хакинг универсальных подсознательных реакций – «о-о-о» в случае встречи с милыми младенчиками, «вау», когда в лицо мужчине-натуралу суют сиськи. (Ну, почти универсальных: покажите мне фотографию милого дитяти, и я скорее сблюю, чем засюсюкаю.) А это другое, алгоритмы Мерсера знают нас лично. Они знают нас так же хорошо, как друзья, родные, любимые!
Может, и так. Но, знаете, кто еще знает нас так же хорошо, как наши друзья, родные и любимые? Наши друзья, родные и любимые. Те же люди, что сидят напротив нас в пабе или за кухонным столом, которые льнут к нам, как сумчатые к родителям, когда выключается свет. Эти люди рутинно используют интимные знания о нас, чтобы убедить нас посмотреть конкретный фильм, или зайти в конкретный ресторан – или, помилуй боже, проголосовать за конкретного политика. Люди, которые, за неимением лучшего слова, пытаются перепрограммировать нас при помощи звуковых волн и визуальных стимулов; они делают то же самое, что и боты, и, скорее всего, делают это лучше.
Что вы хотите сделать, Савацки? Запретить рекламу? Запретить споры? Запретить общение?
Я слышу вон того шотландца в заднем ряду: он говорит, что речь идет не о настоящих спорах, не о настоящем общении. Когда Cambridge Analytica нацеливается на вас, в этом не участвует другое живое существо – один только код, взламывающий мясо.
Как будто если бы мясо взламывало другое мясо, все стало бы лучше. Предсказание, что половина наших рабочих мест через пару десятилетий достанется автоматике, уже стало затертым клише, однако эксперты не отвечают на такие новости требованиями упразднить закон Мура. Они говорят о переквалификации, безусловном базовом доходе – словом, об адаптации. Почему здесь все должно быть иначе?
Не поймите меня неправильно. Тот факт, что наша судьба – в руках правых злодеев-миллионеров, радует меня не больше, чем любого из вас. Я просто не воспринимаю текущую автоматизацию этого процесса как что-то иное, нежели очередной шаг по той же невеселой дороге, по которой мы тащимся десятилетиями. Я не помню, чтобы в 2008 и в 2012 годах кто-то завывал от гнева из-за тогда еще сверхсовременной базы данных Обамы, профилирующей избирателей. Зато я помню множество уважительных комментариев по поводу умения его предвыборного штаба «добиваться явки».
Любопытно, что граница, отделяющая «массовый активизм» от «тоталитарного нейропрограммирования», настолько четко пролегла между Тогда и Теперь.
Технология психологической войны, созданная Cambridge Analytica, не столько «угрожает демократии», сколько забивает очередной гвоздь в крышку ее гроба. Для тех, кто отвлекся: ее труп разлагается уже довольно давно.
Конечно, это не значит, что мы не должны отбиваться. Способы есть, даже на индивидуальном уровне. Я не о тех праздных мечтаниях, которые продвигают на SciAm ребята, по всей видимости не способные отличить слоган от стратегии. (Убедиться, что у людей есть доступ к собственным данным! Заставить правительство держать ответ!) Я говорю о тех вещах, которые вы можете сделать прямо сейчас. Простых вещах.
Алгоритмы питаются данными? Перестаньте их кормить. Не сидите в твиттере: если всех прочих недостатков твиттера вам мало, может, вас уведет оттуда хотя бы перспектива уморить зверя голодом. Если не можете заставить себя уйти с фейсбука, по крайней мере перестаньте все лайкать – или, еще лучше, лайкайте то, что вас на самом деле бесит, создавайте помехи, чтобы контаминировать массив данных и сделаться более размытой мишенью. (Когда я встречаю на фейсбуке что-то, что нахожу особенно трогательным, то часто реагирую на него кипящим от ярости эмодзи.) Свалите из инстаграма и яйцехвата. Используйте Signal. Используйте, блин, VPN. Сделайте Органию бесполезной для них.
Что вы говорите? Тысячи людей по всему миру умирают – так хотят узнать ваш любимый рецепт приготовления плодов хлебного дерева? Выложите его в блог. Это не остановит ботов от сбора ваших данных, но им хотя бы придется вас разыскать; вы не будете скармливать себя платформе, явным образом созданной для того, чтобы добывать и перепродавать ваши потроха.
Чем больше будет нас, тех, кто отказывается им подыгрывать, – чем больше нас, тех, кто жульничает, кормя систему ложными данными, – тем меньше нам нужно будет бояться кода, который читает наши мысли. А если большинство людей не захочет заморачиваться – если все эти кликбейты, все эти эмодзи и поднятые большие пальцы окажутся слишком большим искушением – что ж, мы получим то правительство, которое заслуживаем. Только не жалуйтесь, расхаживая нагишом в бассейне с аллигаторами, если кто-то отхватит вам ноги.
Пусть за кулисы меня сопроводит Берит Андерсон:
«Представьте, как в 2020 году вы узнаете, что у вашей любимой политической странички или группы в фейсбуке на самом деле больше нет ни одного человека-подписчика, а только десятки или сотни ботов, благодаря которым вы чувствуете себя дома, чувствуете ценность собственных мнений. Есть ли вероятность, что вы могли об этом никогда не догадаться?»
Кажется, она считает это предупреждением, устрашающим предостережением о том, что будет, Если Это Продолжится. Но то, что описывает Андерсон, есть хрестоматийный пример теста Тьюринга, пройденного на ура. Она видит Интернет, полный зомби, – я вижу рождение Подлинного ИИ.
Конечно, есть два способа пройти тест Тьюринга. Очевидный путь – спроектировать более умную машину, такую, что сумеет сойти за человека. Но, как известно любому, кто хотя бы недолго просидел в соцсетях, люди могут быть столь же тупыми, однообразными и пустыми, как и боты. Поэтому другой путь – просто сделать людей глупее, чтобы машинам легче было их обдурить.
Я все больше склоняюсь к мнению, что второй подход может оказаться проще.
Назад: «Люди Икс» и Опра: размышления о «Логане» (Блог, 6 марта 2017 года)
Дальше: Жизнь под надзором FAST (Журнал Nowa Fantastyka, апрель 2015 года)