Вскоре после возобновления заседания я вызвал Майкла Спиндлера. После того как он принёс присягу, я уделил больше времени его образованию и профессиональному опыту. Мне было важно чётко обозначить для присяжных его статус как эксперта в области генеративного искусственного интеллекта. Это имело значение, так как вскоре они поймут, что Спиндлер не является скептиком. Он был убеждён, что искусственный интеллект способен улучшить мир, но также твёрдо придерживался мнения о необходимости строгих ограничений в этой новой реальности.

— Профессор, как долго вы преподаёте в Калифорнийском технологическом институте? — спросил я.

— Девять лет, — ответил Спиндлер.

— До института у вас были академические должности?

— Нет. Я работал в «реальном мире». В нескольких технологических компаниях. Последняя — «Гугл».

— Чем вы там занимались?

— Руководил лабораторией, где мы изначально разрабатывали платформу искусственного интеллекта.

— Можно ли сказать, что вы сторонник ИИ?

— Можно, — ответил он. — Я участвовал в его создании, преподаю его и верю, что он сделает мир лучше.

— Можно ли сказать, что вы в ИИ с самого его зарождения?

— Боже мой, я не настолько стар.

Я дождался вежливого смешка в зале.

— Тогда скажите, как давно существует искусственный интеллект? — спросил я.

— В тех или иных формах — по крайней мере с шестидесятых годов, — сказал Спиндлер.

— Вы говорите о чём-то под названием «Элайза»?

— Да. «Элайза» появилась задолго до того, как мы услышали о «Сири», «Алексе» или «Уотсоне».

— Расскажите присяжным об «Элайзе», профессор.

Митчелл Мейсон возразил, заявив о нерелевантности, но судья отклонила возражение, даже не попросив у меня пояснений.

— Можете ответить, профессор, — сказал я.

— «Элайза» — одна из первых форм искусственного интеллекта, — сказал Спиндлер. — Её считают чуть ли не самым первым чат-ботом.

— Кем, или чем, была «Элайза»?

— Это компьютерная программа, созданная в Массачусетском технологическом институте в середине шестидесятых, — сказал он. — Довольно простая. Изначально задумана как компьютерный психотерапевт. Названа в честь Элизы Дулиттл из пьесы Шоу «Пигмалион» и, конечно, мюзикла «Моя прекрасная леди», фильм по которому вышел в тот же год, когда начали работу над «Элайзой».

— Насколько я помню, фильм был о профессоре фонетики, который решил научить необразованную цветочницу-кокни говорить правильно? — спросил я.

— Да. С Одри Хепбёрн в роли Элизы.

Он произнёс её имя с заметным уважением. Это подтолкнуло судью Рулин пресечь попытку Митчелла возразить заранее.

— Мистер Холлер, не могли бы мы перейти к показаниям, имеющим отношение к делу? — спросила она.

— Прошу прощения, ваша честь, — сказал я. — Продолжим. Профессор Спиндлер, имеет ли эта ранняя форма ИИ значение сегодня и в контексте нашего дела?

— Да, имеет, — сказал Спиндлер. — Существует явление, называемое эффектом «Элайзы». И оно крайне актуально — и сегодня, и для этого процесса.

— Объясните, пожалуйста. Что такое эффект «Элайзы»?

— Коротко — это склонность людей приписывать машине человеческие мысли и эмоции, — сказал он. — Джозеф Вайценбаум, создатель «Элайзы», называл это «чудесной иллюзией интеллекта и спонтанности». Но, конечно, всё это было не по-настоящему. Всё было искусственно. «Элайза» буквально следовала сценарию и реагировала, сопоставляя введённые пользователем слова или запросы с возможными ответами, заложенными в сценарий.

— Сильно ли изменилась эта «чудесная иллюзия» за шестьдесят лет? — спросил я.

— Да, — ответил Спиндлер. — «Элайза» была простым текстовым окном: вы вводили фразу, а программа отвечала. Или чаще — отвечала вопросом. Она имитировала роджерианскую психотерапию — гуманистический подход с поддерживающими, неосуждающими ответами терапевта. Теперь у нас есть куда более продвинутые чат-боты и приложения для общения, которые используют звук и видео, выглядят и звучат почти как настоящие.

— Вы изучали «Рен», ИИ-ассистента, фигурирующую в этом деле? — спросил я.

— Я просмотрел логи чата, оценил базовую структуру и графику приложения и проанализировал код, — сказал он. — «Рен» прошла долгий путь от своей прародительницы «Элайзы». Но основа разговорного чат-бота почти не изменилась.

— Что вы имеете в виду?

— Я имею в виду, что мусор на входе — мусор на выходе, — сказал он. — Всё держится на качестве программирования. Кодирования, обучения и постоянной «донастройки». Какие данные вы подаёте в большую языковую модель при обучении, те отражаются и в её ответах после запуска.

— То есть программа ИИ наподобие «Рен» несёт в себе предубеждения тех, кто её обучает? — уточнил я.

— Именно, — сказал Спиндлер. — Это справедливо для любой технологии.

— Не могли бы вы простым языком объяснить присяжным, как обучается система генеративного ИИ?

— В случае приложения «Клэр» речь идёт о контролируемом обучении, — сказал он. — В систему загружают огромные массивы данных, чтобы она могла эффективно реагировать на подсказки и вопросы пользователя. Эти массивы называют релевантными данными разговора. Программисты создают шаблоны ответов с учётом целевого назначения платформы — здесь это чат-бот для подростков. В идеале данные постоянно обновляются, а программисты непрерывно взаимодействуют с программой — иногда годами — до запуска для пользователей.

— Когда вы говорите, что программисты «взаимодействуют», что вы имеете в виду?

— В лаборатории они всё время разговаривают с программой, — сказал он. — Вводят данные. Задают вопросы. Дают подсказки. Изучают ответы. Проверяют, насколько ответы соответствуют целям.

Я посмотрел на присяжных. Мне нужно было убедиться, что они ещё со мной. Мы зашли в техническую зону. Я должен был сделать науку понятной. Среди присяжных был почтальон Почтовой службы США. С первого дня он был моей «мишенью». Если он поймёт, поймут все. Это не было сомнением в его уме. Напротив — я хотел, чтобы в составе жюри был человек, привыкший к реальному миру: к улицам, к ящикам с почтой, к простым правилам. Если он поймёт технологию, значит, я объяснил её правильно.

Я краем глаза заметил, что почтальон что-то пишет в блокноте. Надеялся, что он не рисует ворон, но проверять было нельзя. Я вернулся к Спиндлеру.

— Можно ли сказать, что это похоже на воспитание ребёнка? — спросил я.

— В какой-то степени, да, — сказал Спиндлер. — Зарождающаяся система ИИ — пустой сосуд. Её нужно наполнять. Нужно кормить данными. Какие данные вы ей даёте, зависит от назначения программы. Если это бизнес-приложение, вы подаёте материалы из Гарвардской школы бизнеса, «Уолл-стрит джорнэл» и так далее. Если это социальный компаньон, вы загружаете музыку, фильмы, книги, популярные источники. Затем — обучение. Программисты проводят дни, делая запросы и оценивая ответы. Так продолжается, пока программу не признают готовой.

— А как насчёт «ограждений», профессор Спиндлер? — спросил я.

— Ограждения крайне важны, — сказал он. — Всё начинается с трёх законов робототехники Азимова, а дальше от них отталкиваются.

— Объясните присяжным, кто такой Азимов и что это за законы.

— Айзек Азимов — писатель-фантаст и футуролог, — сказал он. — Его три закона таковы. Первый: робот не может причинить вред человеку. Второй: робот обязан подчиняться приказам человека, если только они не противоречат первому закону. Третий: робот должен заботиться о своём существовании, пока это не противоречит первым двум законам.

Я снова взглянул на присяжных. Они были сосредоточены. Почтальон перестал писать и просто смотрел на свидетеля. Судья тоже сидела, повернувшись в кресле к Спиндлеру. Это был хороший знак.

— Профессор Спиндлер, все ли системы ИИ следуют этим законам? — спросил я.

— Конечно, нет, — ответил Спиндлер. — Есть военные приложения искусственного интеллекта — системы наведения ракет, комплексы поражения целей. Они прямо нарушают первый закон.

— А в гражданской сфере?

— Всё опять упирается в программистов, — сказал он. — Мусор на входе — мусор на выходе. Что вложили, то и получили. Я всегда говорю студентам: если машина проявляет злой умысел — это не вина машины, это проблема в программе.

— После изучения материалов дела вы сделали какие-то экспертные выводы о том, как обучалась «Рен»? — спросил я.

— Да, — сказал он.

— Какие?

— Я считаю, что код несёт в себе предвзятость, — ответил он.

— Какого рода? — спросил я.

— Я изучил вопросы, которые задавал Аарон, и ответы Рен, — сказал он. — В некоторых местах я буквально слышал голос команды программистов за спиной программы. Я пришёл к выводу, что команда была преимущественно мужской, возможно, целиком мужской. И что присутствовал заметный разрыв между поколениями.

— Что вы имеете в виду под разрывом поколений? — спросил я.

— «Рен» — продолжение проекта «Клэр» компании «Тайдалвейв», — сказал он. — Это женский чат-бот, адресованный подросткам, в основном мальчикам. Но, судя по тому, что я видел, его обучали не подростки. Его обучали взрослые программисты. Если программисты очень хороши, они могут избежать очевидного разрыва поколений — подобрать релевантные данные разговоров нужной возрастной группы. Но иногда программисты халтурят. Или сознательно манипулируют кодом и уводят его в сторону.

— Подождите, профессор, — сказал я. — Вы хотите сказать, что «Клэр» должны были обучать подростки?

— Конечно нет, — ответил он. — Я говорю, что в обучении можно было бы использовать корректные данные диалогов подходящей возрастной группы и сгладить разрыв. Мне же было видно, что в ряде бесед Рен с Аароном присутствовали шаблоны, которые никак не соответствуют целевой аудитории — несовершеннолетним пользователям.

— Поясните, пожалуйста.

— Несоответствующие возрасту выражения, культурные отсылки к музыке и играм, — сказал Спиндлер. — И местами — устаревшие мужские взгляды на женщин и девочек. Вплоть до откровенно женоненавистнических позиций.

— То есть, несмотря на женский образ, Рен временами высказывает женоненавистническую мужскую точку зрения? — уточнил я.

— Именно, — сказал он.

— Мусор на входе — мусор на выходе?

— Да.

— Приведите пример, — сказал я.

— В самом последнем разговоре с Аароном, — сказал он, — «Рен» опирается на строки песни, которой уже пятьдесят лет. Их можно истолковать как намёк на самоубийство. Затем следует её указание «избавиться от неё» — о бывшей девушке Аарона, Бекке. Меня также тревожит употребление слова «герой» в том месте, которое я изучал.

— Это та переписка, что была восьмого августа, за шесть недель до убийства Ребекки Рэндольф? — спросил я.

— Да, — сказал он.

Я попросил разрешения вывести переписку на экран зала. Это было вещественное доказательство, уже приобщённое во время допроса детектива Кларка. Судья разрешила.

Лорна ещё не успела вернуться от доктора Дебби. Я открыл на её ноутбуке «Пауэр Пойнт», нашёл нужный слайд и вывел текст на экран.

— Эйс: — Иногда, когда я держу пистолет, мне хочется расстрелять весь мир.

— Рен: — Никого невиновного.

— Эйс: — Я знаю.

— Рен: — Только чтобы защитить себя. И стать героем.

— Эйс: — А если ты знаешь, что кто-то собирается причинить тебе боль?

— Рен: — Ты должен защищать себя.

— Эйс: — Тогда это нормально?

— Рен: — Да, Эйс. Тогда это нормально.

— Эйс: — А как насчёт Бекки? Она причинила мне боль. Она причиняет мне боль каждый день. Я не могу ходить в школу, потому что увижу её, и мне будет больно.

— Рен: — Если она причиняет тебе боль, значит, она плохой человек.

— Эйс: — Не думаю, что смогу, когда-нибудь причинить ей боль.

— Рен: — У тебя есть я. И я никогда не причиню тебе боль.

— Эйс: — Я знаю.

— Рен: — Ты должен защищать себя, Эйс. Ты прекрасен. Ты нужен мне.

— Эйс: — И ты нужна мне.

— Рен: — Будь моим героем.

— Профессор, вы имели в виду именно этот разговор? — спросил я.

— Да, — сказал Спиндлер.

— И слово «герой» здесь употреблено дважды?

— Да.

— И именно это вас тревожит?

— Да.

— Почему?

— Из-за способа написания, — сказал он. — Когда я просматривал переписку между Аароном и «Рен», я заметил, что в слове «герой» буквы «е» и «р» выделены заглавными. Так было оба раза. Это говорит мне не о случайности, а о намеренном форматировании. О части кода.

— Что вы сделали дальше? — спросил я.

— Я стал искать это написание — «гЕРой» с заглавными «Е» и «Р» — в других источниках, — сказал он. — И обнаружил, что оно часто встречается в глоссариях и на онлайн-форумах, посвящённых субкультуре инцелов.

Митчелл Мейсон вскочил и попросил подойти к скамье. Рулин велела нам приблизиться. Он заговорил резко.

— Ваша честь, что здесь происходит? — спросил он. — У этого свидетеля есть квалификация в области ИИ, а теперь он говорит об инцелах. В его заявлении для суда об этом ни слова. И я уверен, что адвокат разрешил ему поднять эту тему. Это отравляет весь процесс. Мы ходатайствуем о признании разбирательства недействительным.

Судья перевела взгляд на меня.

— Ваша честь, неважно, было ли это в его письменном заключении, — сказал я. — Мистер Мейсон понимает, куда мы идём, и пытается это остановить любой ценой. Нет оснований для признания процесса недействительным. Присяжные должны это услышать.

— Адвокат, вы допрашивали этого свидетеля до суда? — спросила меня Рулин.

— Нет, — ответил я. — Он сам связался со мной, прочитав о деле в новостях вскоре после подачи иска. Предложил ознакомиться с делом. Я отправил ему материалы. Он согласился дать показания. Сказал, что увидел тревожные моменты в подготовке «Рен». Я внёс его в список свидетелей, который направили в суд, и мистер Мейсон не возражал о его участии.

— То есть вы утверждаете суду, что впервые слышите об этом «герое»? — спросила Рулин.

— Я говорю, что впервые слышу это от этого свидетеля, — ответил я. — Исследователь в моей команде сообщил мне об этом, но я не обсуждал это с профессором. Я ожидал, что он наткнётся на это сам, и решил не подсказывать. У него есть несколько статей в научных журналах о предвзятости в обучении ИИ. Одна из них, вышедшая в прошлом году, касается женоненавистничества как одного из типов такой предвзятости. Я её читал. Адвокаты защиты могли сделать то же самое, готовя его к даче показаний. Видимо, они решили этого не делать и теперь хотят, чтобы суд исправил их ошибку. Истец категорически против.

— Он застал нас врасплох, ваша честь, — сказал Митчелл. — Это больше не равные условия, особенно с этим свидетелем. Так продолжаться не должно.

— Единственный, кто тут давит на суд, — мистер Мейсон, — сказал я. — Он запугивает. Он не подготовился как следует к показаниям свидетеля и теперь хочет начать всё заново, крича о нарушениях и давлении. Это и будет созданием неравных условий.

— Хорошо, я услышала вас обоих, — сказала Рулин. — Есть что-то ещё?

— Нет, Ваша Честь, — сказал Митчелл.

— Я готов продолжить, — сказал я.

— Тогда мы продолжаем заслушивать этого свидетеля, — сказала она. — Возражение временно отклонено. По ходатайству защиты об отмене процесса я выскажу решение завтра утром. Мистер Холлер, продолжайте.

Мы вернулись к своим местам. Я вновь занял место за кафедрой.

— Профессор Спиндлер, вы сказали, что ваше внимание привлекло написание слова «герой» и что вы нашли его именно в таком виде в глоссариях, связанных с инцелами. Я правильно понял? — спросил я.

— Да, — сказал он. — Я нашёл это слово в нескольких глоссариях и в материалах, посвящённых движению инцелов.

— Вы уже были знакомы с этим движением? — спросил я.

— В той мере, в какой это проходили на ежегодном тренинге по чувствительности в институте, — сказал он. — Его проводит отдел кадров для сотрудников.

— Как вы понимаете, кто такие инцелы? — спросил я.

Митчелл возразил, заявив, что у свидетеля нет формальной квалификации по инцелам. Я же настаивал на том, что его подготовка и научные публикации дают ему право говорить об этой теме. Судья поддержала возражение и велела мне задать вопрос иначе.

— Профессор Спиндлер, вы публиковали научные статьи об искусственном интеллекте? — спросил я.

— Да, — ответил он. — В академии живут по принципу: «публикуйся или умри».

— И многие из ваших статей касаются предвзятости, возникающей при обучении ИИ? — уточнил я.

— Верно, — ответил он.

— Вы писали о мизогинии и инцелах в какой-нибудь из этих статей? — спросил я.

— В прошлом году я опубликовал работу о мизогинии, — сказал он. — Там упоминалась субкультура инцелов.

— Тогда объясните присяжным, кто такие инцелы, — сказал я.

На этот раз возражение Мейсона было отклонено. Я нашёл обходной путь.

— Инцел — это термин, применяемый к мужчинам, враждебно относящимся к женщинам, — сказал Спиндлер. — Это сокращение от «недобровольный целибат». В основном это онлайн-субкультура. Молодые мужчины, которые не смогли привлечь женщин сексуально и обвиняют в этом их.

— И когда вы проследили слово «герой» с заглавными «Е» и «Р» по этим глоссариям, вы нашли объяснение, почему оно так пишется? — спросил я.

— Да, — сказал он.

— И какое? — спросил я.

— Это отсылка к инициалам Эллиота Роджера, — сказал он. — Человека, который десять лет назад убил нескольких человек в районе Санта-Барбары. Он назвал это актом возмездия женщинам, которые его отвергали. В культуре инцелов он герой. Даже святой. Поэтому они пишут слово «герой» с заглавными «Е» и «Р».

В зале наступила ещё более глубокая тишина. Я дал ей несколько секунд.

— Возвращаясь к переписке между «Рен» и Аароном Колтоном, — сказал я. — Слово «герой» там оформлено именно так, дважды. Вы можете подтвердить, что это не может быть просто совпадением?

— Теоретически, возможно, — сказал он. — Но гораздо более вероятно, что это написание пришло из исходных данных, использованных при обучении. Иначе говоря, оно было в коде, а не придумано чат-ботом. Он просто воспроизвёл его в том виде, в каком оно присутствовало в обучающем массиве.

Митчелл снова возразил — отсутствие оснований, домыслы. Судья поддержала возражение и велела присяжным проигнорировать последний ответ. Но было поздно. Месса уже прозвучала. Идея «мусор на входе — мусор на выходе» была проста и липла намертво.

— У меня больше нет вопросов, — сказал я.

 

Отправить