ГЛАВА 16
УЧИ 2.0

Чем больше времени я провожу с разработчиками ИИ и результатами их трудов, тем все более убеждаюсь, что УЧИ появится совсем скоро. И я уверен, что, когда это произойдет, его создатели обнаружат, что получилось не то, на что они рассчитывали, когда брались за это дело несколько десятилетий назад. Дело в том, что искусственный интеллект, возможно, получится человеческого уровня, но он не будет похож на человеческий интеллект по всем тем причинам, которые я перечислил. Будет много шума о том, что мы создаем на планете новый вид. Это будет круто. Но не будет уже разговоров о том, что УЧИ — следующий эволюционный шаг для homo sapiens, и обо всем, что с этим связано. По существу, мы просто не сможем понять, что представляет собой наше создание.

В своей области новый вид будет столь же силен, как Watson в своей. Если даже он будет сосуществовать с нами в качестве нашего орудия, он обязательно запустит свои щупальца во все уголки нашей жизни так, как и не снилось Google и Facebook. Социальные сети могут оказаться для него инкубатором, или средством распространения, или тем и другим сразу. Если поначалу ИИ будет нашим инструментом, то ответы у него будут готовы прежде, чем мы успеем сформулировать вопрос. В целом он будет лишен чувств. У него не будет за плечами нашего происхождения и природы млекопитающих, нашего долгого детства, необходимого для формирования мозга, или нашего инструктивного воспитания, даже если выращивать его, как человека, от младенчества до взрослости. Вероятно, он будет питать к вам не больше чувств, чем тостер у вас на кухне.

Это будет УЧИ версии 1.0. Если по какой-то случайности мы избежим интеллектуального взрыва и просуществуем достаточно долго, чтобы повлиять на создание УЧИ 2.0, возможно, его удастся наделить чувствами. К тому моменту ученые, может быть, выяснят, как сделать вычислительную модель чувств (возможно, с помощью 1.0), но чувства будут вторичной целью после первичной — делания денег. Ученые, возможно, научатся развивать эти синтетические чувства в направлении симпатии к нашему существованию. Но, скорее всего, 1.0 будет последней версией, которую мы увидим, потому что этого события мы не переживем и до создания 2.0 дело не дойдет. Подобно естественному отбору, мы выбираем работающие решения, а не лучшие.

Stuxnet тому — наглядный пример. Как и автономные дроны-убийцы. С финансированием DARPA ученые в Исследовательском институте Технологического университета Джорджии разработали программное обеспечение, позволяющее автоматическим транспортным средствам распознавать врагов при помощи программ зрительного распознавания и других средств, а затем наносить по ним смертельный удар при помощи вооруженного дрона. И все это вообще без участия человека. В статье, которую я читал об этом, была и фраза, призванная продемонстрировать благие намерения: «Авторизация машины на принятие смертельных боевых решений — дело политических и военных руководителей, решающих юридические и этические вопросы».

Это напоминает мне старый афоризм: «Был ли хоть один случай, когда оружие было изобретено, но не использовалось?» Быстрый поиск в Google выдал пугающий список вооруженных роботов, предназначенных для автономного убийства и нанесения ранений (один из них, изготовленный фирмой iRobot, орудует тазером), ожидающих только разрешения. Я уверен, что эти машины будут использованы задолго до того, как мы с вами об этом узнаем. Политики, расходующие общественные деньги, не сочтут необходимым заручиться нашим информированным согласием — точно так же, как не сделали этого перед тем, как запустить Stuxnet.

В ходе работы над этой книгой я просил ученых разговаривать человеческим языком, так чтобы было понятно даже непосвященным. Самые продвинутые из них так и делали, и я уверен, что это должно быть общим требованием в разговорах о рисках ИИ. На самом общем уровне эта тема не должна относиться к исключительной прерогативе технократов и мастеров риторики, хотя, читая в Сети материалы, посвященные ИИ, можно подумать, что именно так и обстоит дело. Дискуссия об ИИ не требует особого, «инсайдерского», словаря. Она требует только уверенности в том, что опасности и ловушки ИИ касаются всех нас.

Кроме того, я встречался с небольшим числом людей, среди которых были и ученые, которые так прочно убеждены в невозможности создания опасного ИИ, что вообще не хотели обсуждать эту идею. Но те, кто уходит от обсуждения этого вопроса, — из-за апатии ли, по лени или благодаря информированному убеждению, — не одиноки. Общество практически не в состоянии разобраться в этом вопросе и следить за угрозой, что ничуть не мешает медленному и неотвратимому развитию машинного интеллекта. Однако непонимание угрозы не отменяет того факта, что у нас будет всего один шанс наладить позитивное сосуществование с теми, чей интеллект превышает наш.