Глава третья

Лицо врага

Искусственный интеллект представляет опасность для существования человеческой цивилизации, какую не представляют автокатастрофы, авиакатастрофы, бракованные лекарства или испорченные продукты.

ИЛОН MACK

В октябре 1939 года Альберт Эйнштейн написал президенту Франклину Рузвельту письмо, ставшее впоследствии знаменитым. В нём автор теории относительности фактически потребовал от США начать работы по созданию атомной бомбы. В противном случае, объяснял Эйнштейн, гитлеровская Германия создаст это смертоносное оружие раньше, и судьба мира будет предрешена.

Стивен Хокинг – Эйнштейн нашего времени, но сейчас президентам письма не пишут. И президенты уже не те, да и что они могут? В 2014 году Хокинг выступил на ВВС с пугающим прогнозом: «Разработка полноценного искусственного интеллекта может означать конец человеческой расы».

Илон Маск отозвался в своём Твиттере: «Нам нужно быть предельно аккуратными с искусственным интеллектом. Потенциально он куда более опасен, нежели ядерные боеголовки».

Уже в 2015 году Илон Маск основывает некоммерческую компанию «OpenAI», цель которой – создать открытый и дружественный человеку искусственный интеллект в противовес «злонамеренному искусственному интеллекту», над которым, как считается, работают все остальные – от Сергея Михайловича Брина до Рэя Курцвейла.

Так что есть в этой истории кроме современного Эйнштейна и свой Роберт Оппенгеймер.

Маск провёл переговоры с десятью ведущими специалистами по искусственному интеллекту. Девять из них согласились присоединиться к благотворительному проекту: они оставили свои руководящие должности и баснословные зарплаты в Google и Facebook, чтобы попытаться спасти мир. И число этих робингудов, надо сказать, неуклонно растёт.

Да, «ОрепА!» Илона Маска – это новый «Манхэттенский проект». Но от какого чудища он призван нас защитить? Кто тот Гитлер и работающий на него Гейзенберг, которые грозят «человеческой цивилизации»? И в чём суть этого нового оружия? Возможно ли оно? Как оно будет действовать?

Большая игра

Искусственный интеллект не испытывает к вам ни ненависти, ни любви, но вы состоите из атомов, которые он может использовать для своих целей.

ЭЛИЕЗЕР ЮДКОВСКИЙ

Есть такой психологический эффект: когда вы сталкиваетесь с чем-то сложным, непонятным, масштабным и вдобавок пугающим, вы инстинктивно это игнорируете. Если верить Хокингу, Маску и множеству других уважаемых товарищей, искусственный интеллект – это именно тот случай.

Как я уже когда-то писал, 15 марта 2016 года должно быть признано важнейшей датой в истории человечества – в этот день мы узнали, что способны создавать машины умнее самых умных из нас. И да, именно в этот день весь наш биологический вид получил свою «черную метку».

Впрочем, этой «чёрной меткой» оказался не чёрный, а белый камушек, брошенный на доску древнекитайской игры в го. Автором этого финального броска и «последнего китайского предупреждения» стал компьютер по имени AlphaGo, созданный компанией Google.

Ещё Алан Тьюринг предупреждал нас о том, что игра в го будет последним рубежом, отделяющим машинный интеллект от человеческого. Но мы настолько привыкли к разнообразным компьютерным фокусам, что не заметили, как промелькнул этот день – день, после которого наш мир уже никогда не будет прежним.

Накануне злополучной игры проводились многочисленные опросы экспертов – делайте ваши ставки, господа! Практически никто не верил в победу AlphaGo: средневзвешенная оценка – победа компьютера над человеком в го возможна не ранее чем через пять лет (многие, впрочем, считали, что этого не случится и через десять лет).

Но нет, Рубикон нашей избранности был перейдён. И новый «венец творения» объявил о начале своего триумфального шествия по планете.

«БИТВА ПРИ СЕУЛЕ»

Всё прошло, надо сказать, очень буднично… Ли Седоль сидел над доской в том самом Сеуле, покрывался потом и тискал свою несчастную голову. Сервер Google Cloud Platform не посчитал нужным покинуть пределы США и участвовал в соревновании дистанционно. Камни на гобан за AlphaGo ставил Айа Хуань – тоже игрок в го и сотрудник команды разработчиков DeepMind.

Исход турнира, впрочем, был известен уже после первых трёх сражений, в которых гугловское детище AlphaGo разбило Седоля подчистую. В четвёртой игре, правда, машина поддалась, но в пятой снова выиграла.

Формально общий счёт этого исторического матча 4:1 в пользу искусственного интеллекта. Но сейчас уже не до формальностей…

«Я не смог победить, но я не считаю свой проигрыш поражением человечества», – передал через пресс-службу поверженный Ли Седоль, обладатель всех возможных данов го и титула «Мёнин», что значит «Мудрый».

Но что ещё может сказать этот выдающийся гроссмейстер игры в го, проигравший машинному интеллекту? Мол, извините, так получилось… на кону стояла наша с вами цивилизация, и я продул её подчистую?

Нет, в таком не признаются. Даже если это правда.

Через год – в 2017-м – китайцы попробовали исправить ситуацию с поражением корейца Ли Си-доля и выставили против AlphaGo своего лучшего бойца – Кэ Цзе. Машина предсказуемо разбила соперника, на сей раз абсолютно – всухую.

Авторы бесчисленных научно-популярных кибертриллеров и широкоформатных блокбастеров, комиксов и компьютерных игр привычно пугают нас всякими страшилками про «искусственный разум»: мол, он разрастётся и будет представлять угрозу для человека.

Сами по себе эти басни, конечно, не выдерживают никакой критики – их создатели дуют на воду, тычут пальцем в небо и ковыряются в чужой песочнице. Но самое печальное – не наивность авторов-фантастов, не их бесчисленные ошибки, а то, что создатели этих, с позволения сказать, шедевров всегда рисуют нам «хороший конец».

Это притупляет необходимую бдительность. Понятно, что «хэппи энд» – это закон жанра: аудиторию надо привлекать, а не отпугивать. Но в результате этого маркетингового хода чувство тревоги в отношении «искусственного интеллекта» у человечества притупилось, и это как раз самое опасное.

Думать, что «искусственный интеллект» будет таким же, как мы – антропоморфным и человеко-разумным, – нарушит законы робототехники Айзека Азимова и нас же завоюет, по меньшей мере наивно (конечно, всё будет, если будет, сложнее и витиеватее).

Но ещё наивнее думать, что война с «искусственным интеллектом» – это вопрос отдалённого будущего. Она уже идёт, а 15 марта 2016 года – лишь красивая дата проигранной «Битвы при Сеуле» для возможных будущих учебников истории (если, конечно, мы выживем и их ещё будет кому написать).

Когда в 1997 году Гарри Каспаров проиграл шахматный турнир компьютеру Deep Blue, это, конечно, стало серьёзным шоком для думающей части человечества. Но самоуверенность возобладала: мол, есть ещё игра в го, в которой нет жёстких алгоритмов, она требует интуиции и видения стратегии.

Считалось, что победить в этой игре, не думая как человек, просто невозможно, а компьютер, понятно дело, никогда так думать не сможет. И именно этот миф пал только что на сеульской земле.

Впрочем, научился ли AlphaGo думать как человек? Это, на самом деле, смешной вопрос. Он научился думать лучше человека. Тут важно понять: с Ли Седолем сражалась не компьютерная программа, созданная другими людьми, а самый настоящий цифровой интеллект.

Всё, что сделали разработчики, – это загрузили в AlphaGo информацию о множестве ранее сыгранных другими людьми партий и позволили ему потренироваться.

AlphaGo сыграл миллионы партий со своими собственными копиями, последовательно выбраковывая нежизнеспособные. В результате он создал собственные абстрактные стратегии ведения игры в го. Так что никто, включая разработчиков, не знает, как и почему AlphaGo принимает те или иные решения и какими правилами руководствуется.

Это самый настоящий «чёрный ящик», но только уже не Скиннера, а Дугласа Лената, который, по легенде, первым разработал технологию цифрового естественного отбора, а потом засекретил свои разработки, опасаясь цивилизационных последствий собственного открытия (Google лишь пошёл сходным путём и сделал нечто подобное).

ЛЕГЕНДЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

«Ключ к решению задач с помощью искусственного интеллекта лежит в сокращении перебора вариантов при поиске решения. Для этого программы должны реализовывать те же принципы, которыми в процессе мышления пользуется человек», – с этих пророческих слов начинается статья Дугласа Лената «Искусственный интеллект», опубликованная на рубеже 1980-х годов, то есть в самый разгар «зимы искусственного интеллекта».

Да, пока все малодушно «зимовали», Ленат создал два генетических алгоритма – Автоматический математик (AM) и Euriso (от лат. «я нахожу»). Генетическими они называются потому, что созданы по принципу естественного отбора в живой природе: новые элементы порождаются практически случайным образом, а дальше – или выжили, или нет.

Так, например, AM, созданный Ленатом ещё в 70-х, создавал математические теоремы, а затем как бы заново открывал математические правила, выводя их из математических данных.

Отличие Euriso от AM заключалось в том, что этот алгоритм разрабатывал как правила решения задач, так и правила, касающиеся его собственной работы. Проще говоря, программа могла учиться на собственном опыте и, по необходимости, модифицировать свой собственный код.

Не знаю, как доподлинно это произошло, но Ленат выставил свою Euriso против людей в виртуальной военной игре… Сейчас прошу отнестись ко мне серьёзно – делаю всё, что в моих силах! В военной игре «Командир триллиона кредитных эскадрилий»… Черт его знает, как ещё перевести это название – «Traveller Trillion Credit Squadron»?

Суть этой игры заключалась в том, что участник получал некое ограниченное количество средств (кредитов) и должен был на эти деньги спроектировать корабли, а затем сразиться своим флотом с флотами других игроков. Кредиты можно было по выбору потратить на разные типы орудий, толщину брони и т. д., то есть смоделировать флот на свой вкус.

Euriso не растерялась – она наугад спроектировала флот, провела сражение, сделала выводы, сконструировала новый флот, используя эти выводы и добавив мутаций, провела следующее сражение, сделала выводы… И так 10 000 раз на сотне объединённых в единую сеть компьютеров (гигантский проект по тем временам!).

Но дело не в этом, дело в том, что в процессе этой тренировки Euriso сама вывела правила создания кораблей, которые гарантированно побеждали у всех участников соревнований – участников-людей. Это 1981 год и, возможно, первый приз искусственного интеллекта в состязаниях с живыми людьми.

На следующий год организаторы соревнований по Traveller отказались заранее сообщать правила, чтобы избежать подготовки системы к соревнованиям. Но уже обученная на прежних правилах Euriso быстро сориентировалась и забрала турнирный приз 1982 года.

В 1983 году Ленату пришлось снять Euriso с соревнований – в противном случае организаторы были готовы прекратить турнир. Ну и правда, зачем в очередной раз позорить достойных игроков-людей?

Так в чём же заключался секрет фантастических успехов Euriso? Программа придумала давать имена удачным решениям и комбинациям, чем могла изменять для себя их ценность. По сути, она изобрела свой язык и связала его с системой оценки эффективности.

Проблема заключалась в том, что Euriso была «слепа» – не понимала, что именно она делала и зачем. Для действительного понимания ей не хватало контекста – видения мира таким, каким его воспринимаем мы с вами.

Мы же видим не объективный мир, а мир, удобный для нас. И в этом мире всё у нас связано со всем, и не просто так, а как-то и почему-то. Почему мы наливаем воду в стакан, а не в шляпу? На что похожи звёзды? Кого держат дома в качестве четвероногих друзей? Всё это мы знаем каким-то естественным образом, а искусственные системы этому знанию надо ещё научить.

Но прежде чем учить, его – это огромное эмпирическое знание, онтологию нашего здравомыслия, так сказать, – надо собрать в систему. С этой целью Ленат возглавил проект Сус, над которым работает уже больше 30 лет. Скоро, говорят, он даст нам жару. Но сейчас не об этом…

Никто не знает, почему Ленат так внезапно закрыл проект Euriso, хотя он набирал невиданные обороты. Более того, Ленат засекретил все данные по этому проекту. Многие убеждены, что неспроста.

Может быть, он посчитал, что мы ещё не готовы к столь мощному благодаря самообучающей стратегии и языку, но слепому в нашем мире сверхинтеллекту? Тем более волнительной кажется информация, что Сус входит в свою финальную стадию.

Не ждёт ли нас историческая встреча Euriso и Сус? И чем она может для нас закончиться?

Учёные вплотную подошли к предсказанному информационному апокалипсису, теоретическому детищу выдающегося математика Ирвинга Джона Гуда – «интеллектуальному взрыву».

Судьба его друга и коллеги Алана Тьюринга широко известна, чего не скажешь о послевоенной жизни Гуда. В 60-х он эмигрировал в США, поселился в далёком Блэксбурге и до самой смерти в 2009 году работал в Политехническом университете Вирджинии на окладе, превышавшем оклад ректора.

Гуд был блестящим шахматистом, и это ему Тьюринг сказал о последнем интеллектуальном рубеже человечества – игре в го.

Поэтому нет ничего удивительного в том, что именно Гуд занялся проблемой «искусственных нейронных сетей» – искусственным интеллектом, который программирует себя сам.

Выше я уже приводил самую известную цитату из работ Гуда (статья «Размышления о первой ультраразумной машине», 1965 г.), суть которой заключается в том, что, как только мы изобретём ультраразумную машину, она тут же произведёт другие ультраразумные машины, и всё – «человеческий разум останется далеко позади».

Изначально Гуду казалось, что это будет величайшим благом для человечества. Конечно, он натерпелся ужасов, воюя с фашистской Германией в Блетчли-парке, потом атомная бомба, потом водородная… Казалось, человечеству сильно не хватает какого-нибудь суперразума, который сможет установить на планете мир и порядок.

Плюс сколько открывается невероятных возможностей, если в наших руках действительно окажется суперинтеллект, способный создавать мириады других суперинтеллектов! Мы сможем решить любые проблемы: победим болезни и смерть, обеспечим всеобщее благосостояние, полетим на Марс…

Впрочем, скоро стало понятно, что будущее человечества после возникновения суперразума вовсе не так уж радужно. Решать паши проблемы будет не человек, а машина, которая намного умнее человека. А тут возникают вопросы…

Не случайно в той же знаменитой статье Гуда мы находим и такой пассаж, являющийся скорее предостережением, нежели невинным британским юмором: «Таким образом, первая ультраразумная машина – это последнее изобретение, которое потребуется от человека, если, конечно, эта машина будет достаточно сговорчивой, чтобы сообщить нам, как можно её контролировать».

Тут, понятно, все начинают вспоминать Азимова: мол, объясним машине, что она должна нас слушаться и против нас ничего не затевать, – и всё будет хорошо. Не будет. Если искусственный интеллект развивается путем самообучения, то об Азимове, при всём уважении, придётся забыть.

ЗАКОНЫ АЗИМОВА

Не только авторам блокбастеров, но и писателям удаётся внести свою лепту в наше сингулярное будущее. И конечно, когда говорят о роботах, то тут же вспоминают «законы робототехники», впервые упомянутые Айзеком Азимовым в рассказе «Хоровод», который он написал, когда ему было 22 года.

Формулировка законов проста (справедливости ради надо сказать, что на самом деле они сформулированы другом Айзека – Джоном Кэмпебеллом).

Первый закон: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред».

Второй закон: «Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому закону».

Третий закон: «Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму законам».

И хотя нелепо, мне кажется, всерьёз обсуждать литературные фантазии (даже если они хорошие и пригожие), но дискуссии вокруг «Законов» разразились нешуточные.

Основные тезисы оппонентов:

• Искусственный интеллект и робототехника – это бизнес, а он сам не будет налагать на себя какие-либо ограничения (тем более абстрактного этического толка).

В качестве примера приводят табачную индустрию, автомобилестроительные компании, ядерную промышленность, разработки для военных. Конечно, бизнесы о рисках, связанных с их деятельностью и продукцией, стараются не говорить и, более того, всячески противодействуют их выявлению.

• Законы робототехники сформулированы настолько расплывчато, что может привести к неверной интерпретации роботом действительных мотивов человека и к последующему ограничению его свободы и т. д.

Кто и как будет принимать решение о том, что «вредно» для человека, а что – нет? Павленскому уже и ухо себе не отрезать, и мошонку к брусчатке не прибить? А как же высокое искусство? Впрочем, есть и куда более тривиальный пример – необходимость экстренной трахеотомии: человек мало того, что задыхается, а я ещё к нему с кухонным ножом к горлу лезут – это как? Нет, воспрепятствуем.

• Наконец, законы робототехники, по сути, дают роботам право на непослушание человеку – они могут принимать решение о том, когда они будут исполнять указание, а когда нет. Если осознать возможные последствия этого, то вся эта логическая конструкция начинает выглядеть несколько по-другому.

Допустим, робот оказался участником операции по задержанию особо опасного преступника… Не решит ли он, что полицейские пытаются нанести ему вред? Если человека-преступника отправят в тюрьму, то ему будет нанесён вред. А вот какой полицейским вред от того, что им не дали сопроводить преступника в тюрьму? Никакого. Или другой пример – возможные побочные эффекты лекарственных препаратов. Вред? Вред. Не разрешать? Не разрешать.

Но, конечно, самая большая проблема состоит в том, что человек – в принципе – сам себе злобный Буратино, а потому только тем и занимается, что наносит себе разнообразный вред.

Павленский – это, конечно, крайний случай, но если взглянуть на наше «творчество» шире, то, честно говоря, дух захватывает: окружающую среду загрязняем нещадно, биоценозы последовательно уничтожаем, климат портим, а что уже говорить о различном супероружии и прочих глупостях? Очевидны аутоагрессивное поведение и самовредительство. Препятствуем этому? Препятствуем!

Или вот ещё более нетривиальный вопрос – если суперразумный интеллект потенциально способен принести вред человеку, то стоит ли роботам, которые будут созданы нами до его появления, препятствовать человеку работать над этим проектом?..

При этом мы абсолютно не в курсе, какими именно средствами этот сверхмощный искусственный интеллект будет добиваться своих целей. Что, если он воспользуется в качестве своего «оружия» или просто «инструмента» чем-то, что даже нельзя будет разглядеть (причём в буквальном смысле этого слова, поскольку длина волны света в разы превышает отдельные объекты нанотехнологий).

Именно нанотехнологиям пророчат весьма перспективное будущее, несмотря на все технологические сложности, с которыми мы в этой области пока сталкиваемся. Об этом пишут как научно-исследовательские институты, например Британская королевская инженерная академия, так и инвестбанкиры, рассматривающие эту отрасль беспрецедентно перспективной с точки зрения возможной прибыли.

То, что построение материальных объектов на уровне атомов возможно, – думаю, уже никому объяснять не надо. Но амбиции учёных простираются дальше непосредственной игры с атомами: они мечтают о создании наноассемблеров – устройств, которые сами по себе, то есть без вмешательства человека, будут собирать то, что ему нужно, из отдельных атомов и молекул.

Рэй Курцвейл, как известно, обещал нам скорое десятилетие 3D-печати, но вполне возможно, что эта техника устареет раньше, чем мы думаем.

Эти научно-технические фантазии уже имеют ряд практических воплощений (пусть пока и недостаточно мощных), поэтому следующий этап – это создание огромных нанофабрик, которые будут способны производить наноассеблеры, а ещё через паузу – наноассемблеры, способные реплицироваться, то есть создавать другие наноассемблеры.

Причём, если такая технология будет создана, – кому-то хватило настойчивости провести соответствующие расчёты (если мне не изменяет память, это был «отец нанотехнологий» Ким Дрекслер) – наша планета может быть уничтожена (разобрана на атомы и пересобрана во что-то другое, куда менее презентабельное) за каких-то двое суток.

Соединение искусственного интеллекта с возможностью наноассемблеров способно продемонстрировать нам всю, так сказать, мощь закона ускоряющейся отдачи.

Но не факт, что результаты этой монструозной ассоциации технологий будут соответствовать радужным прогнозам Рэя Курцвейла о Рае на земле. Например, в книге «Последнее изобретение человечества: искусственный интеллект и конец эры Homo sapiens» Джеймс Баррат настаивает на прямо противоположном развитии событий. И в этом он отнюдь не одинок.

«Завершающей фазой работ по созданию сначала умных машин, затем машин умнее человека, станет не их интеграция в нашу жизнь, а их победа над нами и завоевание Земли. В погоне за искусственным суперинтеллектом исследователи получат разум более мощный, нежели их собственный; они не смогут ни контролировать его, ни даже до конца понять.

Мы знаем на опыте, что происходит, когда технически развитая цивилизация встречается с менее развитой: Христофор Колумб против Тиано, Писарро против Великого Инки, европейцы против американских индейцев.

Приготовьтесь к следующему столкновению цивилизаций: мы с вами против искусственного суперинтеллекта».

ДЖЕЙМС БАРРАТ, документалист, писатель

Всё дело в том, что нейронное или генетическое программирование предполагает цель, ради которой данный интеллект создаётся. Любая же умная система, движимая своей целью, сделает всё возможное, чтобы избежать гибели, – ведь если она «умрёт», то её цель не будет достигнута.

То есть искусственный интеллект, вполне возможно, обзаведётся скоро не только языком как ленатовская Euriso или фейсбучные боты, но и чем-то вроде инстинкта самосохранения. Последующие же итерации его постоянного самосовершенствования сделают совершенно бессмысленными всякие наши попытки его сдержать или выключить.

При этом в том, что в какой-то момент нам захочется его сдержать, а потом и выключить, сомневаться не приходится. Дело в том, что инстинкт самосохранения вынудит суперинтеллект создавать новые цели, для достижения которых ему потребуются новые ресурсы, а мы с вами – поскольку состоим из молекул и атомов – и есть, в частности и кроме прочего, такой ресурс, проще говоря, кормовая база.

Да, нам, возможно, очень захочется его выключить. Но мы не сможем.

Создатели легендарной «Матрицы» предрекли нашим телам роль батареек, но и это, как выясняется, ещё очень гуманный вариант развития событий. Сверхумный интеллект найдет способ получать энергию и менее затратным способом – например, пустит нас с вами под нанонож.

Так выглядит перспективный план… И где-то прямо сейчас зарождается этот монстр – и это точно не травоядный Google с его милым AlphaGo.