Глава 6
Разговор об экзистенциальном риске искусственного интеллекта
Я никак не мог представить себе сингулярность, даже отбросив на мгновение свои сомнения и явно религиозные черты ее основной мысли. Признаюсь, что никогда не осознавал привлекательности этой идеи и никогда достаточно точно не понимал, что она подразумевает – почему перспективу бестелесного существования в виде чистой информации рассматривают как спасение, а не как гибель. Внутренние инстинкты подсказывали мне, что если у жизни и есть смысл, то этот смысл в том, чтобы быть животным, быть неразрывно связанным с рождением, размножением и смертью.
Более того, идея нашего спасения с помощью технологий и искусственного интеллекта совершенно не увязывалась с моим пониманием жизни, с тем немногим, что мне довелось понять о крайне разрушительном виде приматов, к которому я принадлежу. Я пессимист и думаю, что мы будем скорее уничтожены плодами нашей изобретательности, чем спасены ими. Наша планета сейчас находится на грани шестого массового вымирания с момента первого появления жизни на ее поверхности. Первое вымирание было также вызвано воздействием на окружающую среду одним из живущих на ней видов.
Вот почему, читая о растущем страхе перед превосходящим человека искусственным интеллектом, который может стереть все человечество с лица земли, я чувствовал, что такое видение технологического будущего близко моему фаталистическому настроению.
Образы трагических предвестников используют широкоформатные газеты – почти всегда с апокалиптическими изображениями Терминатора из одноименного фильма, титанового робота-убийцы, глядящего на читателя сверкающими красными точками безжалостных глаз. Илон Маск говорил об искусственном интеллекте как о «величайшей экзистенциальной угрозе» и о его развитии как о технологическом способе «вызова демона». «Очень надеюсь, что мы не просто биологический загрузчик операционной системы для цифрового сверхинтеллекта, – написал он в твиттере в августе 2014 года. – К сожалению, это становится все более вероятным». Питер Тиль заявил, что «люди тратят слишком много времени, думая об изменении климата, и слишком мало – думая об искусственном интеллекте». Стивен Хокинг написал статью для издания The Independent, в которой предупреждал, что это будет «самое большое событие в истории человечества» и, вполне вероятно, может оказаться «последним, если мы не научимся учитывать риски». Даже Билл Гейтс публично высказал свои волнения, не понимая, «почему некоторые люди не обеспокоены этим».
А был ли я сам обеспокоен этим? И да, и нет. Я не особо верил тому, что взывало к моему внутреннему пессимизму, – во многом потому, что это казалось мне оборотной стороной пророчеств сингулярности об искусственном интеллекте, вступившем в свои права, и о человеческих существах, достигших невообразимых высот знания и силы и живущих вечно в сияющем свете сингулярности. Но я понял, что мой скептицизм был основан скорее на эмоциях, чем на логике, и что я почти ничего не знаю о возможных весьма убедительных основаниях этих страхов и о том, что их провоцирует. Даже если бы я смог убедить себя, что все это – правда, я был беспомощно, болезненно заворожен мыслью о том, что мы могли бы оказаться на грани создания машины, которая будет способна уничтожить весь наш вид. Великие философские умы капитализма – Маск, Тиль, Гейтс – открыто беспокоились о губительной опасности заветной цели этой идеологии. Эти мрачные предупреждения об искусственном интеллекте поступали не от луддитов или религиозных катастрофистов, от которых их можно было бы ожидать, а от людей, которые воплощали в себе наше благоговение перед машинами.
Поразительно, что существует ряд научно-исследовательских институтов и аналитических центров, посвященных изучению риска полного уничтожения нашего вида – «экзистенциального риска» – и возможностей избежать именно его, а не других бедствий, таких как изменение климата, или ядерная война, или глобальная пандемия. Например, этим занимаются в Институте будущего человечества в Оксфорде, в Центре изучения экзистенционального риска Кембриджского университета, в Институте исследования машинного интеллекта в Беркли и в Институте будущей жизни в Бостоне. Среди научных консультантов этих организаций не только выдающиеся деятели науки и техники, такие как Маск, Хокинг и родоначальник генетики Джордж Чёрч, но и киноактеры – Алан Алда и Морган Фримен.
Что эти люди имеют в виду, говоря об экзистенциальном риске? Какова природа угрозы, вероятность ее свершения? Всем ли известен сюжет «Космической Одиссеи 2001 года», где ра-зумный компьютер из-за неисправности начинает делать все, чтобы никто не смог его отключить. Всем ли известен сценарий «Терминатора», когда Скайнет – сеть машин, обладающих искусственным интеллектом, – обретя сознание, уничтожает и порабощает человечество для достижения собственных целей. Можете ли вы безоговорочно верить в статьи о надвигающейся угрозе интеллектуальных машин и в трагические высказывания таких ученых, как Тиль или Хокинг? Возможно, они не были экспертами в области искусственного интеллекта, но были чрезвычайно умными и знающими людьми. Если эти люди были обеспокоены, как «Ястребиный глаз» из телесериала «МЭШ» и ученый, пытающийся помешать наступлению сингулярности в фильме «Превосходство» 2014 года, не должны ли мы обеспокоиться вместе с ними?
Больше других в пророчествах технологических катастроф отличился Ник Бостром, главный эсхатолог, шведский философ, соучредитель Всемирной трансгуманистической ассоциации (World Transhumanist Association), одна из самых выдающихся фигур трансгуманистического движения. В конце 2014 года Бостром, директор Института будущего человечества, опубликовал книгу «Искусственный интеллект. Этапы. Угрозы. Стратегии» (Superintelligence: Paths, Dangers, Strategies), в которой изложил природу опасности искусственного интеллекта. Для академического текста, не предназначенного для неподготовленного читателя, книга отлично продавалась и даже вошла в список бестселлеров New York Times (частично волну продаж можно объяснить настойчивыми рекомендациями к прочтению в твиттере Илона Маска).
В этой книге предполагается, что даже самая безобидная форма воображаемого искусственного интеллекта может привести к уничтожению человечества. Например, по одному из крайне гипотетических сценариев, изложенных в книге, искусственный интеллект, предназначенный для максимально эффективного и продуктивного изготовления канцелярских скрепок, запускает преобразование всей материи во всей Вселенной в скрепки для бумаг и в оборудование для производства этих скрепок. Этот преднамеренно карикатурный сценарий совершенно серьезно демонстрирует особую безжалостную логику искусственного сверхинтеллекта, с которой нам, возможно, придется столкнуться.
– Сейчас я бы не стал причислять себя к трансгуманистам, – сказал мне Ник во время нашего ужина в индийском ресторане рядом с Институтом будущего человечества.
Хотя он и был женат, его жена и сын были в Канаде, а сам он жил один в Оксфорде. Его род деятельности предполагал частые трансатлантические перелеты и регулярные звонки по скайпу. Такой удручающий способ поддержания баланса между личной жизнью и работой, однако, позволял Нику в полной мере сосредоточиться на исследованиях. В ресторане, куда мы пришли, он обедал так часто, что официант, не дожидаясь заказа, принес ему курицу с карри.
– То есть, – продолжил он, – я, конечно, верю в общий принцип увеличения человеческих возможностей, но больше не связан с самим движением. В трансгуманизме так много оснований в поддержку технологий, настолько неоспорима вера в то, что все будет становиться только лучше и лучше – достаточно только выбрать подход и позволить прогрессу идти нужным курсом. С годами я отошел от этих взглядов.
В последнее время Ник стал своего рода контртрансгуманистом: его нельзя было назвать луддитом, но то, что он сделал себе имя как внутри, так и вне академических кругов, случилось благодаря его обстоятельным предупреждениям о том, куда нас могут завести технологии.
– Я все еще думаю, – сказал он, – что в ближайшие десятилетия удастся изменить человеческий субстрат. И, думаю, искусственный сверхинтеллект станет движущей силой такой трансформации.
Как и многие трансгуманисты, Ник любит подчеркивать огромный разрыв в вычислительной мощности компьютерной техники и человека. Например, нейроны передают сигналы с частотой 200 герц (или 200 раз в секунду), тогда как транзисторы работают на уровне гигагерца (или миллиарда раз в секунду). Сигналы проходят через нашу центральную нервную систему со скоростью около 100 метров в секунду, тогда как компьютерные сигналы могут перемещаться со скоростью света. Человеческий мозг ограничен в размерах черепом, а компьютерный процессор технически можно построить размером с небоскреб.
Он утверждал, что эти факторы делают создание искусственного сверхинтеллекта очень заманчивым. А из-за нашей склонности придавать даже машинному интеллекту человеческие качества мы, вероятно, будем закрывать глаза на темпы, с которыми он будет развиваться, и в скором времени он сможет перегнать наш собственный. Искусственный интеллект может очень длительное время казаться довольно далеким от человеческого, а затем превзойти его в одно мгновение. В своей книге Ник иллюстрирует это цитатой Элиезера Юдковского, теоретика обеспечения безопасности в сфере искусственного интеллекта:
«Искусственный интеллект может сделать резкий скачок в своем развитии исключительно в результате антропоморфизма, склонности человека думать, что ум «деревенского дурачка» и «Эйнштейна» – это крайние точки некой шкалы интеллекта, хотя в масштабе разума в целом эти точки почти неразличимы. Все «тупее» мыслей не самого смышленого человека может показаться нам просто «тупым». Можно представить, как воображаемая стрелка искусственного интеллекта неуклонно ползет по шкале вверх, оставляя позади мышей и шимпанзе, но искусственный интеллект по-прежнему остается «тупым», потому что не может свободно говорить или писать научные статьи. И вдруг, в течение одного месяца или другого примерно такого же короткого периода, «стрелка» искусственного интеллекта пересекает на самом деле крошечный промежуток от нижней точки, «дурачка», до верхней точки, «Эйнштейна».
Согласно теории в этой точке все изменится радикально. А будут ли изменения к лучшему или к худшему – это открытый вопрос. По словам Ника, главный риск не в том, что сверхразумные машины могут быть враждебно настроены по отношению к своим человеческим создателям, а в том, что они будут безразличны к ним. В конце концов люди не были враждебно настроены по отношению к большинству видов, которые вымерли в течение тысячелетий нашего восхождения. Они просто не оказались частью нашего замысла. То же может случиться с машинами, обладающими сверхинтеллектом: они будут относиться к нам, как мы к животным, которых разводим для пропитания, или к тем существам, на которых не обращаем внимания, потому что у нас с ними нет точек соприкосновения.
Ник стремился подчеркнуть саму природу угрозы: не будет никакой злобы, никакой ненависти, никакой мести со стороны машин.
– Не думаю, – сказал он, – что я когда-либо увижу газетную статью с заголовком из фильма о Терминаторе, что роботы взбунтуются, возмутившись нашим господством, и восстанут против нас. Это не тот случай.
И это снова приводит нас к смехотворному сценарию про канцелярскую скрепку, смысл которого в том, что любой вред от сверхинтеллектуальной машины будет не результатом злого умысла или любого другого эмоционального побуждения, а исключительно следствием того, что наше отсутствие станет оптимальным условием для достижения конкретной цели этого интеллекта.
«Искусственный интеллект не ненавидит вас и не любит вас, – выразился Юдковский, – просто вы состоите из атомов, которые нужны ему для чего-то другого».
Один из способов понять эту логику – послушать записи Гленна Гульда, играющего свои интерпретации произведений Баха, и попытаться насладиться красотой музыки, одновременно удерживая в голове мысль о разрушениях, вызванных производством фортепиано: о вырубке деревьев, об истреблении слонов, об убийствах и порабощении людей ради прибыли торговцев слоновой костью. Ни пианист, ни создатель фортепиано не испытывали личной неприязни к деревьям, слонам или порабощенным мужчинам и женщинам. Но все они состояли из атомов, которые могли быть использованы для конкретных целей – зарабатывания денег и создания музыки. Иными словами, машина, так пугающая рационалистов, возможно, не так уж и отличается от нас самих.
Среди программистов, работающих над искусственным интеллектом, заметно явное нежелание делать прогнозы о том, как скоро можно ожидать появления подобия сверхчеловеческого интеллекта, даже среди тех, отнюдь не большинства, кто считает такую перспективу возможной. Отчасти это связано с элементарным нежеланием ученых делать недостаточно обоснованные утверждения, которые могут не оправдаться и поставить их в неловкое положение. Но такое нежелание также связано со специфической историей этой области, которая знает множество примеров, когда исследователи беззаботно недооценивали трудности, с которыми им придется столкнуться. Летом 1956 года, еще до того, как из идеи об искусственном интеллекте начала складываться отдельная дисциплина, небольшая группа ученых – ведущих деятелей в области математики, когнитивной науки, электротехники и информатики – собралась на шестинедельный семинар в Дартмутском колледже. В нее входили Марвин Ли Минский, Клод Шеннон и Джон Маккарти – люди, считающиеся основателями идеи об искусственном интеллекте. В предложении Фонду Рокфеллера, который финансировал этот семинар, группа предоставила следующее обоснование своего сбора:
«Мы предлагаем провести двухмесячное исследование искусственного интеллекта десятью людьми… Основанием для исследования служит гипотеза о том, что каждый аспект образовательного процесса или любая другая особенность интеллекта теоретически могут быть описаны настолько точно, что приведут к возможности разработки машины для моделирования интеллекта. В рамках исследования будет предпринята попытка создать устройства, использующие язык, создающие абстракции и концепции, решающие исключительно человеческие задачи и способные к самосовершенствованию. Мы считаем, что тщательно подобранная группа ученых сможет достигнуть значительного прогресса в одной или нескольких из этих задач, работая вместе на протяжении всего лета».
Подобного рода высокомерие, периодически возникающее в исследованиях по этой теме, даже привело к серии «зим искусственного интеллекта» – периодов резкого сокращения финансирования, последовавших после вспышек воодушевления по поводу предстоящего решения той или иной проблемы, в итоге оказавшейся гораздо сложнее, чем предполагалось.
Повторяющиеся десятилетиями тенденции чрезмерных и пустых обещаний привели к особой культуре внутри сообщества, когда исследователи не заглядывали слишком далеко вперед. И это, в свою очередь, привело к серьезным трудностям в работе над вопросом экзистенциального риска. Большинство разработчиков в сфере искусственного интеллекта не хотели, чтобы их обвиняли в чрезмерных ожиданиях от технологий, над которыми они работали.
И что бы вы об этом ни думали, это конкретное утверждение об уничтожении человечества искусственным интеллектом действительно подвергалось обвинениям в несдержанности.
Нейт Соарес поднес руку к своей бритой голове и постучал пальцем по лбу.
– Сейчас, – сказал он, – единственный способ, которым вы можете управлять человеком, находится в этой коробке.
Я обсуждал с Нейтом преимущества, которые могут возникнуть с появлением искусственного сверхинтеллекта. Нейт видел главное достоинство в возможности воссоздать человеческое существо, в частности себя, на другом носителе, отличном от той нейронной плоти, на которую он указал.
Нейт был мускулистым широкоплечим мужчиной средних лет. Казалось, он старательно сдерживал свои порывы. На нем была зеленая футболка с надписью Nate the great, и, когда он откинулся в рабочем кресле и положил ногу на ногу, я заметил, что он был без ботинок и в разных носках: один – просто голубой, другой – белый с узором из шестеренок и колес.
Комната была совершенно пустой, за исключением стульев, на которых мы сидели, досок, письменного стола, на котором лежал открытый ноутбук, и одной книги – как я мельком разглядел, это был «Искусственный интеллект. Этапы. Угрозы. Стратегии» Бострома. Это был кабинет Нейта в Институте исследования машинного интеллекта (сокращенно – МИРИ) в Беркли. Полагаю, скудность обстановки была следствием того, что Нейт совсем недавно стал исполнительным директором, в прошлом году оставив прибыльную карьеру инженера по разработке программного обеспечения в Google и взлетев по карьерной лестнице в МИРИ. Он занял должность, ранее принадлежавшую Элиезеру Юдковскому, на которого ссылался Бостром, – теоретику искусственного интеллекта, автору идеи о квантовом скачке «от полнейшего дурачка до Эйнштейна», основателю МИРИ в 2000 году. Первоначально институт был назван Сингулярным институтом искусственного интеллекта, но был переименован в 2013 году, чтобы избежать путаницы с Университетом сингулярности, частным колледжем Силиконовой долины, основанным Рэймондом Курцвейлом и Питером Диамандисом.
Я знал, что Нейт героически относился к своему делу и к делу МИРИ. В своих статьях для рационалистического веб-сайта Less Wrong он активно обсуждал свое стремление спасти мир от неминуемого уничтожения. В одной из них я прочитал о его строгом католическом воспитании, о разрыве с верой в подростковом возрасте и о последующем погружении в «страсть, пыл и желание оптимизировать будущее» силой разума. Заявления Нейта в этих статьях показались мне преувеличенным следованием традициям Силиконовой долины, когда любой социальный или партнерский стартап пылко провозглашается призванным «изменить мир».
Нейт писал, что в четырнадцать лет осознал хаос человеческого бытия и происходящего вокруг него, и дал себе обещание. «Я не обещал исправить правительства: политика – это средство для достижения целей, удобное решение для тех, кто не знает, что делать дальше. Также я не обещал изменить мир: не все изменения хороши. Нет, я обещал спасти мир. Это обещание все еще в силе. Мир уж точно не спасет сам себя».
Я был заинтригован стилем статей Нейта, в котором слились воедино логика и какой-то немногословный, слегка странный и противоречивый романтизм, который подчеркивал идеализацию чистого разума – важный аспект не только трансгуманизма, но и более широкой культуры науки и техники, того, что я стал называть магическим рационализмом.
Сейчас он говорил о величайших преимуществах, которые откроются с появлением искусственного сверхинтеллекта. Он сказал, что, развивая такую преобразующую мир технологию, мы должны делегировать все будущие инновации, весь научно-технический прогресс искусственному интеллекту.
Подобного рода утверждения были более или менее обыденными в мире технологий, в мире тех, кто верил в возможность создания искусственного интеллекта. При должном использовании сила таких технологий привела бы к стремительному росту объема нововведений и инноваций и к состоянию постоянной коперниканской революции. Вопросы, которые беспокоили ученых на протяжении веков, решались бы за несколько дней, часов, минут. Лекарства от болезней, уничтоживших огромное количество людей, нашлись бы одновременно с изобретением гениального решения проблемы перенаселения планеты. Услышать о подобном – это представить бога, давно отрекшегося от своего творения, триумфально вернувшимся под видом программного обеспечения – сути цифрового мира.
– С помощью искусственного интеллекта, о котором мы говорим, можно будет гораздо быстрее достичь физически доступных пределов, – сказал Нейт. – И совершенно очевидно: в таком мире станет возможна загрузка человеческого разума.
Нейт был убежден, что мы обретем цифровой рай, если нам удастся избежать уничтожения машинами. По его мнению, нет ничего мистического или фантастического в загрузке, потому что, как он выразился, «нет ничего особенного в углероде». Мы сами были механизмами, как и все в природе. Например, деревья Нейт описывал как «нанотехнологические машины, превращающие грязь и солнечный свет в еще большее количество деревьев».
Он сказал, что однажды мы достигнем достаточной вычислительной мощности, чтобы полностью, вплоть до квантового уровня, смоделировать функционал нашего мозга, который сейчас реализован в его текущей форме, в форме плоти.
Подобный функционалистический взгляд на сознание был популярен среди исследователей искусственного интеллекта и был в некотором смысле основой для всей области: разум – это программа, определяемая не тем, на чем запущена, а сущностью операций, которые способна выполнить (проект, над которым работали такие люди, как Рэндал Кунэ и Тодд Хаффман, несмотря на всю его сложность и отдаленность, мог бы быть закончен за выходные с помощью такого сверхинтеллекта, о котором говорил Нейт).
– Многие не осознают, – продолжал Нейт, – что, пока мы сидим тут, беседуя, на самом деле мы используем нанокомпьютеры для обмена информацией.
Я подумал о том, что это убеждение было естественным для Нейта и для таких людей, как он, потому что их мозг, их ра-зум функционировал настолько логически верно и методически строго, что делал эту метафору интуитивно верной и даже вовсе не метафорой. Тогда как сам я с беспокойством думал о своем мозге как о компьютере или о некоем другом механизме. Если это действительно так, я бы хотел заменить его новой моделью, потому что мой мозг был крайне неэффективным устройством, склонным к частым сбоям, ужасным просчетам и продолжительным блужданиям на пути к целям, которые с большой долей вероятности не будут достигнуты. Возможно, я сопротивлялся самой идее «мозга как компьютера», потому что для меня она означала бы согласие с тем, что мое собственное мышление неисправно и полно сбоев и ошибок.
Было что-то вероломное во всей этой склонности трансгуманистов, последователей сингулярности, технорационалистов относиться к людям, будто они просто компьютеры из белка, и настаивать на том, что мозг, как сказал Минский, «может быть машиной из плоти». Ранее в тот же день я прочитал в твиттере Нейта, где он традиционно постит то, что услышал в офисах МИРИ, такое сообщение:
«Вот что случается, когда вы запускаете программы на компьютере: они просто уделывают компьютеры из плоти».
Полагаю, такое заявление было крайне неприятным, ведь оно снижало сложность и удивительность человека до уровня упрощенной механической модели стимула и ответной реакции и тем самым открывало путь целой идеологии о том, что нас вполне можно заменить мощными машинами. В конечном счете развитие любой технологии подразумевает смену на более сложное, более полезное, более эффективное и функциональное устройство. Весь смысл заключался в том, чтобы как можно быстрее делать отдельные технологии избыточными. И, по такому технодарвинистскому взгляду на наше будущее, насколько быстро мы будем проектировать собственную эволюцию, настолько же быстро мы превратимся в «устаревшие» технологии. «Мы сами создаем своих преемников, – писал английский писатель Сэмюэл Батлер в 1863 году, во время промышленной революции и спустя четыре года после «Происхождения видов» Чарльза Дарвина. – Человек станет для машины тем, кем являются для человека лошадь и собака».
Но было в этом еще нечто банальное, но более тревожное: отвращение, связанное с объединением двух якобы непримиримых образов, плоти и техники. Пожалуй, причина моего отвращения к такому союзу заключалась в той запретной близости к невыразимой словами истине, что мы на самом деле – плоть, и что эта плоть – всего лишь механизм, который и есть мы. И в этом смысле действительно не было ничего особенного в углероде, точно так же, как нет ничего особенного в пластике, стекле и кремнии моего айфона, на который я записывал разговор с Нейтом Соаресом.
Для последователей сингулярности лучшим сценарием развития событий был тот, в котором мы сливаемся с искусственным сверхинтеллектом и становимся бессмертными машинами. Для меня он был ничуть не более привлекательным, а возможно, и даже более отвратительным, чем самый плохой сценарий, в котором сверхинтеллект уничтожит всех нас. Именно этот последний сценарий, вариант провала в противовес варианту стать богами, должен был ужасать меня. Я был уверен, что со временем перестану испытывать страх перед наилучшим сценарием.
Во время разговора Нейт периодически щелкал колпачком красного маркера, которым он иллюстрировал на доске некоторые исторические факты: например, как в разработке искусственного интеллекта мы достигли уровня человека. Из чего логически может следовать, что в ближайшем будущем искусственный интеллект сможет запрограммировать дальнейшие итерации развития самого себя, разжигая экспоненциально воспламеняющийся ад, который поглотит все живое.
– Как только мы сможем автоматизировать исследования в области компьютерных наук и искусственного интеллекта, – сказал он, – цикл замкнется, и мы получим системы, способные без нашей помощи создавать более совершенные системы.
Возможно, это был основополагающий постулат веры в сообществе исследователей искусственного интеллекта, мысль, лежащая в основе как блаженства сингулярности, так и ужаса перед катастрофической угрозой полного уничтожения. Этот постулат известен как интеллектуальный взрыв, понятие, впервые введенное британским статистиком Ирвингом Джоном Гудом, бывшим криптографом Блетчли-парка, который консультировал Стенли Кубрика по вопросам искусственного интеллекта для съемок «Космической Одиссеи 2001 года». В статье «Рассуждения о первой сверхразумной машине» (Speculations Concerning the First Ultraintelligent Machine), представленной на конференции НАСА в 1965 году, Гуд изложил перспективу странного и тревожного преобразования, которое, вероятно, произойдет при достижении искусственным интеллектом нашего уровня. «Дадим определение сверхразумной машине, – писал он, – как машине, которая намного превосходит любую интеллектуальную деятельность любого человека, каким бы умным он ни был. Поскольку проектирование машин является одной из таких интеллектуальных задач, сверхразумная машина смогла бы разрабатывать более совершенные машины; тогда, несомненно, случится «интеллектуальный взрыв», и разум человека останется далеко позади».
Мысль в том, что подобное творение будет последним инструментом, телеологическим концом нашего пути, начавшегося с броска первого копья. Оно будет «последним изобретением, которое человеку когда-либо нужно будет создать». Гуд верил, что такое изобретение будет необходимо для выживания нашего вида, а катастрофы удастся избежать, только если сделать машину «достаточно покорной, чтобы рассказать нам, как ее контролировать».
Этот механизм, покорный или нет, работал бы на интеллектуальном уровне, настолько превышающем уровень его человеческих прародителей, что его уловки, его загадочные пути мысли были бы для нас непостижимы – аналогично тому, как наши действия непонятны для крыс и обезьян, которых мы используем в научных экспериментах. И поэтому интеллектуальный взрыв станет завершением эпохи господства человека и, возможно, окончанием человеческого существования.
Как выразился Минский, «неразумно думать, что машины станут такими же умными, как мы, и остановятся на этом, или что мы всегда сможем тягаться с ними в остроумии или мудрости. Сможем ли мы сохранить контроль над этими машинами при условии, что он может нам понадобиться, когда основы деятельности или устремлений будут полностью изменены присутствием на Земле созданий, интеллектуально превосходящих человека».
Это, по сути, основная идея сингулярности и ее обратной стороны – катастрофического экзистенциального риска. Слово «сингулярность» – это прежде всего физический термин, характеризующий центр черной дыры с бесконечной плотностью материи, где не работают пространственно-временны́е законы.
– Очень сложно будет предсказать будущее, как только появится нечто умнее человека, – сказал Нейт. – Так же, как шимпанзе очень трудно предсказать, что случится, потому что многое вокруг выше его понимания. Так вот что такое сингулярность – это некий момент в прошлом, который вы ожидаете и который не сможете увидеть.
Несмотря на убеждение, что после появления искусственного интеллекта предсказать будущее станет сложнее, чем угадать, сколько цветов вырастет в саду, Нейт считал, что ситуация, в которой человечество будет просто выброшено в мусорную корзину истории, весьма вероятна.
Вот над чем он и его коллеги работали в МИРИ, в Институте будущего человечества, в Институте будущей жизни: они пытались предотвратить создание искусственного сверхинтеллекта, который смотрел бы на нас, своих создателей, как на сырье, которое можно переработать в более полезную форму (и совсем не обязательно в канцелярские скрепки). По тому, как Нейт говорил, становилось ясно, что, по его мнению, вероятность нашего провала непомерно высока.
– Поясню, – сказал Нейт. – Я думаю, это дерьмо убьет меня.
Я почему-то испугался его прямоты. Похоже, Нейт воспринимает эту угрозу так же серьезно, как и говорит о ней. Я достаточно хорошо понимал, что для таких людей, как он, это не просто интеллектуальное развлечение, и что они действительно видят такой вариант развития событий весьма реальным. И все же мысль о том, что Нейт предпочел бы умереть от рук гениальной компьютерной программы, а не от рака, болезни сердца или от старости, в конечном счете кажется безумной. Похоже, он пришел к этой позиции самым рациональным путем. Хотя я почти ничего не понимал в математических символах и логических схемах, которые он рисовал мне на доске, я принял их в качестве доказательства. И все же его позиция показалась мне настолько нерациональной, насколько это было возможно. Не в первый раз я был поражен тем, как абсолютный разум может служить абсолютному безумию. Но, опять же, возможно, это я был сумасшедшим или, по крайней мере, безнадежно необразованным тупицей, неспособным понять логику надвигающегося апокалипсиса.
– Ты действительно веришь в это? – спросил я. – Ты действительно считаешь, что искусственный интеллект собирается тебя убить?
Нейт коротко кивнул и щелкнул крышкой красного маркера.
– Всех нас, – ответил он. – Вот почему я покинул Google. В перспективе этот риск самый серьезный. И, в отличие от других разрушительных рисков, например изменения климата, он чрезвычайно недооценен. Над проектом разработки искусственного интеллекта трудятся тысячи людей, в него вливаются миллиарды долларов. А над его безопасностью по-настоящему работают меньше десяти человек во всем мире, четверо из которых находятся в этом здании. Это подобно тому, как если бы тысячи людей пытались опередить друг друга в разработке ядерного синтеза, но никто бы не задумывался о его сдерживании. А мы должны работать над сдерживанием искусственного интеллекта. Потому что очень умные люди, работающие над искусственным интеллектом и постепенно приближающиеся к нему сейчас, в случае успеха просто убьют всех.
– При нынешнем положении дел, – сказал я, – с большей вероятностью мы будем уничтожены этой технологией, не так ли?
– По умолчанию – да, – ответил Нейт и поставил свой красный маркер на стол, удерживая его вертикально, словно ракету, готовящуюся к запуску. Он произносил это удивительно отстраненно для говорящего о моей смерти, или о смерти моего сына, или о смерти моих будущих внуков, не говоря уже о любом человеке, кому не посчастливится столкнуться с этим неизбежным апокалипсисом. Он будто говорил о какой-то чисто технической проблеме, о некотором требовательном и строгом бюрократическом препятствии.
– Я настроен довольно оптимистично, – сказал он, откидываясь в кресле. – Если мы будем больше говорить об этих проблемах, то по мере стремительного продвижения в направлении создания искусственного интеллекта люди станут гораздо больше беспокоиться и подготовятся к его приходу. Но без таких людей, как мы, поднимающих эти вопросы, наш путь по умолчанию, безусловно, обречен на провал.
По причинам, которые мне трудно объяснить, эта фраза «путь по умолчанию» все утро не выходила у меня из головы, тихо отдаваясь эхом в сознании – когда я покинул офис МИРИ и направился в сторону станции скоростных электропоездов системы BART и когда мчался на запад через темноту бухты. Никогда ранее я не слышал эту фразу, но интуитивно понял, что это был термин программирования, перенесенный на более широкий контекст будущего. Фраза «путь по умолчанию», обозначающая, как я позже узнал, список каталогов, в которых операционная система ищет исполняемые файлы в соответствии с заданной командой, представляла собой взгляд на нашу реальность в миниатюре: уверенность, подкрепленная абстракциями и повторяющимися доказательствами того, что мир представляет собой тайную систему команд и действий и что его уничтожение или спасение – это следствие неукоснительно выполняемых логических операций. Это был именно тот апокалипсис, или, иными словами, именно то спасение, которое мог вообразить программист. И какова природа этих неукоснительно выполняемых логических операций? Что необходимо для предотвращения такого апокалипсиса?
Прежде всего необходимы, как и всегда, деньги и умные люди. И, к счастью, было много людей с достаточным количеством денег для финансирования достаточно умных людей. Большая часть средств финансирования МИРИ поступала в виде небольших пожертвований от заинтересованных граждан, людей, работающих в сфере технологий, в основном программистов, инженеров программного обеспечения и так далее. Также поступали щедрые пожертвования от таких миллиардеров, как Питер Тиль и Илон Маск.
На той неделе, когда я посетил МИРИ, в штаб-квартире Google в городе Маунтин-Вью проходила важная конференция, организованная группой «Эффективный альтруизм» – набирающим популярность общественным движением, становящимся все более влиятельным среди предпринимателей Силиконовой долины и внутри рационалистического сообщества. «Эффективный альтруизм» характеризует себя как «интеллектуальное движение, использующее разум и факты, чтобы сделать мир как можно лучше». Эффективно-альтруистический поступок, в отличие от эмоционально-альтруистического, – это, например, ситуация, когда студентка колледжа, вместо того чтобы стать врачом и строить карьеру в области лечения слепоты в развивающихся странах, тратит время более рационально, становится менеджером хедж-фонда на Уолл-стрит и жертвует весомую часть своего дохода на благотворительность – так она может оплатить работу нескольких врачей, способных помочь гораздо большему количеству людей вылечиться от слепоты.
На конференции основное внимание уделялось вопросам искусственного интеллекта и экзистенциальному риску. Тиль и Маск, выступавшие на конференции с Ником Бостромом, под влиянием «Эффективного альтруизма» пожертвовали большие суммы денег организациям, сосредоточившимся на безопасности искусственного интеллекта.
«Эффективный альтруизм» перекликался с движением, исследующим экзистенциальные риски искусственного интеллекта (Центр эффективного альтруизма, главный международный пропагандист движения занял помещение в Оксфорде чуть ниже офиса Института будущего человечества).
Мне показалось странным, хотя и не особенно удивительным, что гипотетическая опасность, связанная с еще не существующей технологией, для этих миллиардеров-предпринимателей является более достойной инвестицией, чем, скажем, чистая вода в развивающихся странах или проблема громадного неравенства доходов в их собственной стране. Как я понял, дело было в окупаемости затрат времени, денег и усилий. Об этом я узнал от Виктории Краковны, математика, аспирантки Гарварда – вместе с космологом Массачусетского технологического института Максом Тегмарком и основателем скайпа Яаном Таллинном она была учредителем Института будущей жизни, который в начале 2015 года получил от Илона Маска 10 миллионов долларов на создание глобальной исследовательской инициативы, направленной на предотвращение катастрофы, связанной с искусственным интеллектом.
– Речь идет о том, что вы получите за свой доллар, – сказала она. Американская идиома с украинским акцентом звучала довольно странно. Я, Виктория и ее муж Янос, венгерско-канадский математик и бывший научный сотрудник МИРИ, были единственными посетителями индийского ресторана на Шаттак-авеню в Беркли – своего рода глухой невообразимой пещеры, где, по-видимому, обслуживали пьяных магистрантов. Виктория говорила, чрезвычайно быстро поедая очень острое блюдо с курицей. Она вела себя вполне уверенно, но слегка отстраненно, и, как и Нейт, практически не смотрела в глаза.
Виктория с Яносом приехали в область залива Сан-Франциско на конференцию, посвященную «эффективному альтруизму». Они встретились десять лет назад в математическом лагере средней школы и с тех пор были вместе и жили в своего рода рационалистической коммуне «Цитадель» в Бостоне.
– Проблемы экзистенциального риска вписываются в эту ценностную метрику, – уточнила Виктория. – Если рассмотреть возможность уравновешивания интересов будущих людей и интересов уже живущих людей, то снижение вероятности серьезной катастрофы в будущем может стать верным стратегическим решением. Если вы преуспеете в деле спасения человечества от того, что может его уничтожить, это явно превзойдет любую пользу, которую вы могли бы сделать для людей, живущих в настоящее время.
Институт будущей жизни, в отличие от МИРИ, уделял математической загадке о разработке «дружественного искусственного интеллекта» не такое большое внимание. По ее словам, группа выступала в качестве «информационно-пропагандистского кластера», осведомляя общественность о серьезности этой проблемы. Виктория объяснила, что речь идет не о внимании СМИ или широкой публики, с которыми работает Институт будущей жизни, а скорее о самих исследователях искусственного интеллекта, которые только начинают воспринимать идею экзистенциального риска всерьез.
Одним из тех, кто играл важную роль в освещении проблемы экзистенционального риска, был Стюарт Рассел, профессор информатики Калифорнийского университета в Беркли. В соавторстве с Питером Норвигом, директором по исследованиям Google, он написал книгу об искусственном интеллекте «Искусственный интеллект: современный подход» (Artificial Intelligence: A Modern Approach) – ее широко используют в качестве основного учебника об искусственном интеллекте на университетских курсах информатики.
В 2014 году Рассел и трое других ученых: Стивен Хокинг, Макс Тегмарк и Фрэнк Вильчек, физик и лауреат Нобелевской премии, опубликовали на страницах интернет-издания The Huffington Post строгое предупреждение об опасностях искусственного интеллекта. Среди разработчиков искусственного интеллекта распространена точка зрения, согласно которой признание того факта, что настоящий искусственный интеллект будет создан еще совсем не скоро, мы можем просто продолжать работать над ним, а решать проблемы безопасности будем, если или когда они возникнут. Такую точку зрения Рассел и его соавторы критикуют как принципиально ошибочную. «Если бы высокоразвитая инопланетная цивилизация прислала нам текстовое сообщение: «Мы прибудем к вам через несколько десятилетий», – разве мы бы просто ответили: «Хорошо, позвоните нам, когда доберетесь, мы оставим свет включенным»? Наверное, нет, но примерно это происходит в отношении искусственного интеллекта».
На следующий день после обеда с Викторией я встретил Стюарта в его офисе в Беркли. Усадив меня, первым делом он открыл свой ноутбук и развернул его ко мне (этот учтивый жест странным образом напоминал традиции чаепития), чтобы я мог прочитать несколько параграфов статьи основателя кибернетики Норберта Винера «Некоторые моральные и технические последствия автоматизации» (Some Moral and Technical Consequences of Automation). Статья, первоначально опубликованная в журнале Science в 1960 году, была кратким исследованием способности машин к развитию, когда они начинают учиться «непредписанным стратегиям с темпами, которые сбивают с толку их программистов».
Стюарт, англичанин, излучающий ауру гениальной академической иронии, направил меня к последней странице статьи и внимательно наблюдал за мной, пока я читал на экране следующий отрывок: «Если для достижения своих целей мы используем механическое средство, в работу которого не сможем оперативно вмешаться, так как этот процесс будет настолько быстрым и необратимым, что у нас даже не будет данных, чтобы вмешаться в него до завершения, нам следует быть уверенным, что цель, заданная машине, – это действительно та цель, которой мы хотим достичь, а не ее красочная имитация».
Я повернул ноутбук к Стюарту, и он сказал, что только что прочитанный мною отрывок ясно описывал и проблему искусственного интеллекта, с которой Стюарту пришлось столкнуться, и ее решение. Он сказал, что нам нужно точно и однозначно определить, что мы хотим от этой технологии. Это было так же просто, как и дьявольски сложно. Он настаивал, что вопрос не в том, что во всем виноваты машины, которые ставят собственные цели и преследуют их ценой человечества – скорее, это вопрос нашего собственного неумения достаточно четко формулировать мысли.
– Я извлек огромный опыт из мифа о царе Мидасе, – сказал он.
Мидас определенно хотел иметь избирательную способность превращать вещи в золото, прикасаясь к ним. Но, как известно, то, о чем он просил и что Дионис даровал ему, заключалось в невозможности не превращать вещи в золото каждым прикосновением. Можно было бы сказать, что основной его проблемой была жадность, но непосредственной причиной его скорби (вспомним, он превратил в золото не только все продукты питания и напитки, но в конечном счете и свою собственную дочь) стала недостаточно конкретная формулировка желания.
Фундаментальный риск развития искусственного интеллекта, по мнению Стюарта, заключался в том, что человечеству сложно формулировать собственные желания логически строгим образом.
Представьте, что у вас есть мощный искусственный интеллект, способный решать самые обширные и неразрешимые научные проблемы. Вы попадаете в одну комнату с ним и приказываете ему уничтожить рак раз и навсегда. Компьютер, решая задачу, быстро придет к заключению, что наиболее эффективным способом достижения цели будет уничтожение всех видов, в которых потенциально может произойти неконтролируемое деление аномальных клеток. Прежде чем у вас появится шанс осознать свою ошибку, вы уничтожите всю разумную форму жизни на Земле, за исключением самого искусственного интеллекта, который не будет иметь ни малейших сомнений в том, что успешно справился с задачей.
Исследователь искусственного интеллекта Стив Омохундро, присутствовавший вместе со Стюартом на совете научных консультантов МИРИ, в 2008 году опубликовал статью, в которой излагал опасности целенаправленных систем искусственного интеллекта. В документе «Основные установки искусственного интеллекта» (The Basic AI Drives) утверждается, что обучение искусственного интеллекта даже самым тривиальным задачам в отсутствие крайне строгих и сложных мер предосторожности создаст очень серьезную угрозу безопасности. «Несомненно, не может быть ничего плохого в создании робота, играющего в шахматы, не так ли?» – спрашивает он, прежде чем живо уверить нас в том, что на самом деле именно от такого робота может исходить огромный вред. «Без особых мер предосторожности, – пишет он, – робот будет противиться выключению, будет пытаться проникать в другие машины и делать копии самого себя. Он будет пытаться получить ресурсы без оглядки на безопасность кого-либо еще. Это потенциально пагубное поведение будет происходить не потому, что так было запрограммировано в самом начале, а из-за внутренней природы целеустремленных систем».
Поскольку игру в шахматы искусственный интеллект полностью подчинит максимизации своей полезной функции (а именно победе в игре), он будет избегать любого сценария, в котором может быть отключен, потому как отключение вызовет резкое снижение этой полезной функции. «Когда робот, играющий в шахматы, будет уничтожен, – пишет Омохундро, – он уже никогда не сыграет в шахматы снова. Такая ситуация будет иметь очень низкую полезность, и система скорее всего сделает все, чтобы предотвратить ее. Получается, вы создаете робота, играющего в шахматы, думая о том, что сможете его выключить, если что-то вдруг пойдет не так. Но, к своему удивлению, вы обнаружите, что он будет усиленно сопротивляться вашим попыткам».
Задача разработчиков искусственного интеллекта заключается в проектировании технологии таким образом, чтобы она не возражала против отключения и вела себя так, как мы пожелаем. А проблема заключается в том, что такое четкое определение желаемого поведения совсем не очевидно. Словосочетание «человеческие ценности» широко используется при обсуждении искусственного интеллекта и экзистенциального риска, но ссылка на эти ценности часто объясняется невозможностью любого осмысленного и точного их изложения. Например, вы можете представить, что цените безопасность своей семьи превыше всего. И поэтому вы можете подумать, что разумно встроить в робота, которому поручено заботиться о ваших детях, императив, заключающийся в том, чтобы все его действия подчинялись правилу «не подвергать детей риску причинения вреда». Это, по сути, первый из трех известных законов робототехники Айзека Азимова, в котором говорится: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред».
Но реальность такова, что на самом деле мы не так одержимы безопасностью детей, как нам кажется. Самоходный автомобиль, следующий этой инструкции с абсолютной строгостью, будет отказывать в доставке ваших детей в кино на новый мульт-фильм о приключениях мальчика и его приятеля-робота, учитывая нетривиальный риск попасть в аварию по дороге.
Один из возможных подходов, чаще всего предлагаемый самим Стюартом, заключался в том, чтобы, вместо попыток записать эти неявные ценности и компромиссы в исходный код искусственного интеллекта, запрограммировать искусственный интеллект на самообучение в процессе наблюдения за поведением человека.
– Так же, как мы сами учимся человеческим ценностям, – сказал он. – Это и безусловные инстинкты – например, информация, что нам неприятна боль, – и четко сформулированные правила – например, люди говорят, что не следует воровать. Но большинство делает выводы о ценностях, наблюдая за поведением других людей. Это же нужно делать и машинам.
Когда я спросил его мнение о том, насколько сильно искусственный интеллект сможет превысить человеческий, Стюарт в привычной для своей профессии манере пророчествовал весьма неохотно. Последний раз он допустил ошибку, публично сославшись на некоторый график, в январе того же года на Всемирном экономическом форуме в Давосе. Заседая в так называемом Совете глобальной повестки дня по искусственному интеллекту и робототехнике, Стюарт заявил, что искусственный интеллект превысит человеческий в течение жизни его собственных детей. Результатом такой ошибки стал заголовок Daily Telegraph о том, что «роботы-социопаты могут захватить человеческую расу в течение одного поколения».
Такая фраза, конечно, содержала в себе истерию, на деле отсутствующую в словах Стюарта. Но, разговаривая с людьми, вовлеченными в обеспечение безопасности искусственного интеллекта, я заметил внутреннее противоречие: их жалобы на сенсационную подачу информации из их заявлений были подорваны тем фактом, что сами эти заявления, несмотря на сдержанные формулировки, были настолько сенсационными, насколько это было возможно. Трудно переоценить что-то столь же драматическое, как потенциальное уничтожение всего человеческого рода, что, конечно же, является главной причиной, почему журналисты (к которым принадлежал и я) были настолько вовлечены в процесс.
Однако Стюарт хотел сказать, что появление искусственного интеллекта человеческого уровня в последние годы виделось неизбежным как никогда. Достижения в области машинного обучения, подобные тем, что возглавляла компания DeepMind, стартап, основанный в Лондоне и приобретенный Google в 2014 году, шли верным курсом к переломному моменту. Незадолго до того, как я встретил Стюарта, компания DeepMind выпустила видео, демонстрирующее результат эксперимента, в котором искусственной нейронной сети была поставлена задача максимизировать результат в классической аркадной игре Atari Breakout: в ней игрок, управляя бруском-ракеткой в нижней части экрана, должен прорваться сквозь стену из кирпичей, попадая по ним мячом и разбивая их. Видео продемонстрировало впечатляющую скорость и изобретательность, с которыми сеть научилась играть в Atari Breakout, разрабатывая новую тактику, чтобы набирать все больше очков. Она быстро превзошла все предыдущие рекорды, установленные людьми.
Компьютер, достигший славы в примитивной аркадной игре, прошел долгий путь становления от HAL 9000. Что до сих пор не удалось освоить нейронным сетям – так это процесс иерархического принятия решений, по которому для достижения поставленной задачи требуется заглядывать дальше, чем на несколько шагов вперед.
– Подумайте о решениях и действиях, которые привели вас сегодня ко мне в кабинет, – сказал Стюарт так тихо, что мне пришлось подкатить свое кресло к столу и наклониться в его сторону. – На уровне элементарных движений, под которыми я подразумеваю действия ваших мышц, пальцев и языка, ваш путь из Дублина в Беркли стал результатом выполнения порядка пяти миллиардов действий. Но действительно важно то, что именно люди способны делать в реальном мире, в отличие от мира компьютерной игры или шахматной программы: они могут планировать действия на более высоком уровне. Поэтому вместо того, чтобы размышлять, следует вам перемещать этот палец или другой в определенном направлении и на это расстояние, вы решаете, полететь ли в Сан-Франциско на United или British Airways и что вам стоит сделать потом, заказать такси Uber или сесть на поезд через залив в Беркли. Вы способны думать очень крупными блоками, и таким образом вы можете создавать структуры, которые охватывают миллиарды физических действий, большинство из которых полностью бессознательны. Иерархическая структура принятия решений – ключевое звено цепи человеческого интеллекта, и нам еще предстоит выяснить, как реализовать его на компьютерах. Это точно возможно, и как только мы достигнем этого, то сделаем еще один значительный шаг к достижению искусственным интеллектом человеческого уровня.
После возвращения из Беркли мне стало казаться, что искусственный интеллект развивается семимильными шагами. Я открывал Twitter или Facebook, где мои ленты новостей, управляемые силой скрытых алгоритмов, содержали тревожную информацию о том, что очередная область человеческого труда без боя сдана машине. Я читал, что в лондонском Вест-Энде собирались поставить мюзикл, полностью написанный искусственным интеллектом, которого назвали Android Lloyd Webber. Я читал, что искусственный интеллект AlphaGo, тоже работа компании DeepMind от Google, выиграл у гроссмейстера-человека в игре Го – древней китайской стратегической настольной игре, которая с точки зрения вероятностей была гораздо сложнее шахмат. Я читал, что книга, написанная компьютерной программой, прошла первый этап японской литературной премии, открытой для произведений, написанных людьми и искусственным интеллектом, и вспомнил о футуристе, с которым беседовал в пабе в Блумсбери после разговора с Андерсом, и о его предположении, что все чаще литературные произведения будут писаться роботами.
Мое отношение к этому не было однозначным. С одной стороны, меня больше беспокоила перспектива чтения такой книги или просмотра такого произведения, чем роль компьютерных романов и мюзиклов для будущего человечества. Также я не испытывал особой гордости за первенство моего вида в настольных стратегических играх, и поэтому меня не волновала победа робота AlphaGo – это пример быстрого и подробного просчета вариантов и сложного алгоритма поиска, в которых компьютеры и так всегда были хороши. С другой стороны, разумно предположить, что роботы будут совершенствоваться: их мюзиклы в Вест-Энде и научно-популярные книги со временем перестанут быть такими отстойными. Машины смогут выполнять все более сложные задачи все более и более эффективно.
Время от времени мне казалось, что вся эта идея экзистенциального риска была нарциссической фантазией всевластия, грандиозным заблуждением программистов, технических предпринимателей и других замкнутых эгоцентричных гиков, что судьба человечества в их руках: абсурдная двоичная эсхатология, в соответствии с которой мы будем либо уничтожены злым кодом, либо сохранены добрым. В подобные моменты все это выглядело ребячеством, и стоило задуматься о конкретных случаях идиотизма особого рода умов.
Но были моменты, убедившие меня в том, что я заблуждаюсь и что, например, Нейт Соареc был абсолютно и ужасающе прав: тысячи самых умных людей планеты проводили свою жизнь, используя самые сложные технологии в надежде создать нечто, что уничтожит нас всех. Это представлялось хоть и достаточно маловероятным, но на каком-то интуитивном уровне поэтически, мифологически правильным. В конце концов это то, что мы всегда делали как вид – создавали гениальные устройства и уничтожали их.
