Глава 8
Давайте поставим более высокую цель, чем свалка истории

Меня представил Максу Тегмарку несколько лет назад его коллега по МТИ Алан Гут, «отец» инфляционной модели Вселенной. Макс, выдающийся физик-теоретик и космолог, в настоящее время сильнее всего озабочен надвигающимися экзистенциальными рисками, которыми чревато создание ОИИ (общего искусственного интеллекта, соответствующего человеческому). Четыре года назад Макс вместе с Яаном Таллинном и другими учеными основал Институт «Жизнь в будущем» (FLI), который позиционирует себя как «перспективную организацию, призванную обеспечить, чтобы самые мощные технологии будущего приносили пользу человечеству». В Лондоне в ходе подписного тура после выхода очередной его книги он, когда процесс создания FLI был в разгаре, признался, что разрыдался на станции метро после посещения Музея науки, экспозиция которого охватывает весь диапазон технологических достижений человечества. Не окажется ли этот поразительный прогресс напрасным?

В научно-консультативный совет FLI входят Илон Маск, Фрэнк Вильчек, Джордж Черч, Стюарт Рассел и оксфордский философ Ник Бостром, изобретатель часто упоминаемого Gedankenexperiment, по итогам которого возник мир, полный бумажных скрепок (и ничего более), созданный (очевидно) благим ОИИ, лишь выполнявшим инструкции. Институт организовал ряд конференций (Пуэрто-Рико, 2015; Асиломар, 2017) по вопросам безопасности ИИ, а в 2018 году устроил конкурс грантов для исследований в области максимизации социальных выгод ОИИ для общества.

Макса иногда причисляют – прежде всего no-cognoscenti – к паникерам, но он, как и Фрэнк Вильчек, верит в будущее, которое сулит немалые выгоды из применения ОИИ, если в попытках его создать мы сможем уберечь человеческий род от вымирания.

Несмотря на обилие разногласий по поводу того, как и когда ИИ начнет изменять человечество, ситуация видится ясной с космической, так сказать, точки зрения: развивающая технологии жизнь на Земле стремится уничтожить себя, не обращая сколько-нибудь серьезное внимание возможным последствиям. Это кажется мне поистине удивительной слепотой, учитывая наши возможности обеспечить поразительное процветание человечества, невиданное в истории, если решим реализовывать более дерзновенные планы.

Через 13,8 миллиарда лет с момента возникновения наша Вселенная осознала себя. На маленькой голубой планетке крошечные сознательные элементы Вселенной вдруг поняли, что мнимая сумма существования, которую они вывели, есть не более чем ничтожная частью чего-то гораздо более грандиозного – Солнечной системы, Галактики и Вселенной, где свыше 100 миллиардов других галактик, организованных в сложную схему групп, кластеров и сверхскоплений.

Сознание есть космическое пробуждение, оно превращает нашу Вселенную из безмозглого зомби, лишенного самосознания, в живую экосистему, где присутствуют саморефлексия, красота, надежда, смысл и цель. Без этого пробуждения наша Вселенная была бы бессмысленной – этакой гигантской пустой тратой пространства. Если ей суждено однажды снова впасть в спячку из-за какого-то космического бедствия или катастрофы, спровоцированной изнутри, она снова станет бессмысленной.

С другой стороны, все может быть еще лучше. Мы не знаем, являемся ли мы, люди, единственными наблюдателями в космосе или даже первыми наблюдателями, но мы уже узнали о нашей Вселенной достаточно много, чтобы понять, что она способна пробудиться гораздо полнее, чем было до сих пор. Пионеры искусственного интеллекта, также как Норберт Винер, показали нам, что для дальнейшего пробуждения нашей Вселенной и ее способности обрабатывать и воспринимать информацию не нужны эоны дополнительной эволюции – вполне хватит, быть может, десятилетий человеческой научной изобретательности.

Возможно, человеческий разум сейчас представляет собой тот слабый проблеск самоосознания, который мы ощущаем, когда просыпаемся по утрам, лишь некое предвосхищение гораздо большего сознания, которое раскроется, когда мы распахнем глаза и пробудемся полностью. Возможно, искусственный сверхразум позволит жизни распространяться по всему космосу и процветать в течение миллиардов или триллионов лет; возможно, это произойдет благодаря тем решениям, которые мы примем здесь, на нашей планете – и при нашей жизни.

Или человечество может вскоре вымереть вследствие самоуничтожения, вызванного способностью наших технологий развиваться быстрее, чем мы с вами обретаем должную мудрость.

Многие мыслители отвергают идею сверхразума как научную фантастику, поскольку они рассматривают интеллект как нечто загадочное, как нечто, присущее исключительно биологическим организмам – прежде всего людям, – и как фундаментальное свойство современного человека. Но с точки зрения физика, которым я являюсь, интеллект представляет собой конкретный способ обработки информации, выполняемый движущимися элементарными частицами, и нет такого закона физики, который гласил бы, что нельзя создавать машины, более разумные, чем люди, во всех отношениях и способные распространять жизнь в космосе. Словом, мы видим лишь верхушку айсберга в области интеллекта; налицо изумительный потенциал, позволяющий раскрыть весь спрятанный в природе разум и использовать его на благо человечества – а иначе мы исчезнем.

Другие, в том числе ряд авторов этой книги, отвергают создание ОИИ (общего искусственного интеллекта, то есть сущности, способной на любые когнитивные действия по крайней мере не хуже, чем люди) не потому, что считают подобное невозможным физически, а потому, что не верят в возможность создать что-то такое менее чем за столетие. Среди профессиональных исследователей ИИ оба типа «пораженцев» принадлежат к меньшинству – благодаря недавним открытиям. Велика вероятность того, что ОИИ будет создан в течение столетия, а медианный прогноз говорит о нескольких десятилетиях. В отчете исследователей ИИ Винсента Мюллера и Ника Бострома сообщается:

С космической точки зрения не имеет значения, появится ОИИ через тридцать лет или через триста, поэтому давайте сосредоточимся на последствиях, а не на конкретных сроках.

Во-первых, мы, люди, узнали, как воспроизводить ряд естественных процессов с помощью машин, создавая собственную тепловую, световую и механическую «лошадиную силу». Постепенно мы осознали, что наши тела также являются машинами, а открытие нервных клеток стерло границу между телом и разумом. Наконец мы начали конструировать машины, способные превзойти нас не только физически, но и ментально. Ныне мы охотно уступили машинам выполнение множества «узких» когнитивных задач – от запоминания и арифметики до игр; мы будем рады, судя по тому, как идут дела, уступить еще больше «сфер влияния» – от вождения автомобилей до инвестиций в медицинскую диагностику. Если сообщество исследователей ИИ преуспеет в реализации своей первоначальной цели (в создании ОИИ), тогда мы, по определению, окажемся избавленными от вообще всех когнитивных задач.

Эта ситуация порождает много очевидных вопросов. Например, будет ли кто-то или что-то контролировать ОИИ, управляющий планетой? Должны ли мы стремиться к подчинению сверхразумных машин? Если нет, можем ли мы гарантировать, что они будут понимать, принимать и сохранять человеческие ценности? Как писал Норберт Винер в «Человеческом применении человеческих существ»:

А кто такие «мы»? Кто должен находить «такие решения… приемлемыми»? Даже если некие будущие власти решат помочь людям выжить и достичь процветания, как мы отыщем смысл и цель своего существования, если нам ничего не будет нужно?

Содержание споров о влиянии ИИ на общество резко изменилось за последние несколько лет. В 2014 году публичных обсуждений риска появления ИИ почти не было, от предупреждений отмахивались как от «луддитского паникерства» – по одной из двух логически несовместимых причин:

(1) ОИИ – не более чем шумиха, он появится в лучшем случае через столетие.

(2) ОИИ, вероятно, появится скоро, но практически гарантированно принесет людям пользу.

Сегодня разговоры о влиянии ИИ на общество слышатся повсюду, а работа по безопасности и этике ИИ переместилась в компании, университеты и научные конференции. Главное в исследованиях безопасности ИИ уже не в том, чтобы его защищать, а в том, чтобы его отвергать. Открытое письмо конференции разработчиков и исследователей ИИ в Пуэрто-Рико в 2015 году (оно помогло обеспечить безопасность ИИ) весьма смутно рассуждало о важности эффективности искусственного интеллекта, но асиломарские принципы ИИ (2017, см. ниже) стали настоящей декларацией: в них прямо говорится о рекурсивном самосовершенствовании, сверхразуме и экзистенциальном риске. Этот документ подписали лидеры индустрии и более тысячи исследователей ИИ со всего мира.

Тем не менее большинство дискуссий ограничиваются обсуждением ближайших перспектив ИИ, а широкая публика уделяет сравнительно малое внимание драматическим преобразованиям, которые ОИИ способен осуществить на планете. Почему?

Прежде всего, обратимся к простой экономике. Всякий раз, когда мы выясняем, как избавить человека от очередного занятия, придумывая машину, которая справится с такой работой лучше и дешевле, общество в целом выигрывает: те, кто проектирует и использует машины, получают прибыль, а потребителям достаются более доступные и качественные товары. Это столь же справедливо для будущих инвесторов и исследователей ОИИ, как было справедливо для ткацких станков, экскаваторов и промышленных роботов. В прошлом пострадавшие люди обычно находили себе новые рабочие места, но сегодня с этим намного сложнее, хотя базовый экономический постулат продолжает действовать. Появление работоспособного ОИИ, по определению, означает, что всякий труд становится дешевле благодаря машинам, поэтому любой, кто утверждает, что «люди всегда найдут себе новые высокооплачиваемые рабочие места», фактически предполагает, что сообщество ИИ не сумеет создать ОИИ.

Во-вторых, Homo Sapiens по своей природе любознателен, и это качество будет мотивировать ученых на стремление постичь разум и создать ОИИ – даже в отсутствие экономических стимулов. Хотя любознательность заслуженно считается одним из важнейших человеческих качеств, она чревата проблемами, когда способствует развитию технологий, которыми мы пока не научились управлять с должной мудростью. Чисто научная любознательность без мотива прибыли обернулась появлением ядерного оружия, искусственно созданных пандемий, и грустно сознавать, что знаменитая поговорка «Любопытство сгубило кошку» ныне вполне применима к человеческому виду.

В-третьих, мы смертны. Это объясняет практически единодушную поддержку разработки новых технологий, которые помогают людям жить дольше и оставаться более здоровыми; таков, к слову, побудительный мотив современных исследований в области ИИ. ОИИ сулит прорыв в сфере здравоохранения. Некоторые мыслители даже рассуждают о бессмертии через киборгизацию или загрузку цифровых копий.

Словом, мы ступили на скользкую дорожку к созданию ОИИ, и налицо сильные стимулы, побуждающие скользить дальше, пусть даже последствия обещают наше экономическое исчезновение. Мы больше не будем нуждаться ни в чем, потому что все работы будут более эффективно выполняться машинами. Успешное внедрение ОИИ станет величайшим достижением человечества, так почему же мы наблюдаем так мало серьезных дискуссий о возможных последствиях?

Ответ опять включает несколько причин.

Во-первых, как сказал когда-то Эптон Синклер: «Трудно заставить человека понять что-то, когда его зарплата зависит от того, что он этого не понимает». Например, представители технологических компаний или университетских исследовательских групп нередко публично заявляют, что их действия не несут никакого риска, даже если сами они думают иначе. Замечание Синклера помогает объяснить не только реакцию на риски, вызванные курением и изменением климата, но и тот факт, что кое-кто воспринимает технологии как новую религию, главная догма которой гласит: больше технологий всегда лучше, а сомневающиеся – невежественные еретики и паникеры-луддиты.

Во-вторых, людям издавна присущи фантазии, некорректная экстраполяция прошлого и недооценка новых технологий. Дарвиновская эволюция подарила нам возможность опасаться конкретных угроз, а не абстрактных фантомов будущих технологий, которые непросто визуализировать или хотя бы вообразить. Представьте, как вы в 1930-м предупреждаете людей о грядущей гонке ядерных вооружений: вы не в состоянии показать ни одного видеоролика с ядерным взрывом, и никто не знает, как вообще создать такое оружие. Даже ведущие ученые могут недооценивать неопределенность, изрекая прогнозы слишком оптимистичные – где эти термоядерные реакторы и летающие машины? – или слишком пессимистичные. Эрнест Резерфорд, возможно величайший физик-ядерщик своего времени, сказал в 1933 году – менее чем за сутки до того, как Лео Силард задумался о ядерной цепной реакции, – что ядерная энергия есть «полная чушь». Разумеется, никто тогда не мог предвидеть гонки ядерных вооружений.

В-третьих, психологи обнаружили, что мы склонны избегать мыслей об опасности, когда нам кажется, что мы все равно ничего не можем сделать. Но в данном случае имеется множество конструктивных действий, которые мы в силах совершить, если заставим себя задуматься над этой проблемой.

Я высказываюсь в пользу перехода от стратегии «Давайте спешно развивать технологии, которые нас погубят, – разве что-то может пойти не так?» к стратегии «Давайте воображать вдохновляющее будущее и двигаться к нему».

Чтобы добиться успеха, то есть хотя бы начать движение в нужную сторону, эта стратегия должна строиться на представлении заманчивого места назначения. Да, голливудская фантастика в целом тяготеет к антиутопии, но на самом деле ОИИ способен обеспечить человечеству поистине уникальный уровень процветания. Все, что мне нравится в нашей цивилизации, есть плод интеллекта, а потому, если мы сумеем подкрепить наш собственный интеллект созданием ОИИ, у нас появится возможность справиться с острейшими вызовами сегодняшнего и завтрашнего дня, включая болезни, изменения климата и бедность. Чем детальнее будет наш общий позитивный взгляд на будущее, тем сильнее окажется мотив трудиться вместе над реализацией мечты.

Что мы должны делать с точки зрения выбора цели? Двадцать три принципа, принятых в 2017 году на конференции в Асиломаре, предлагают множество рекомендаций, включая следующие краткосрочные цели:

(1) Прекращение гонки вооружений в производстве смертоносного автономного оружия.

(2) Экономическое процветание, обеспечиваемое ИИ, должно широко распространиться и быть доступным каждому человеку.

(3) Инвестиции в ИИ должны сопровождаться финансированием исследований по обеспечению полезного применения искусственного интеллекта. Следует стремиться к тому, чтобы системы ИИ были исключительно надежными, устойчивыми к взлому и сбоям, и делали то, что нам нужно.

Первые два условия подразумевают избавление от неоптимального равновесия Нэша. Вышедшую из-под контроля гонку вооружений в производстве смертоносного автономного оружия, призванную минимизировать расходы на автоматизированное анонимное убийство, будет очень трудно остановить, если она наберет обороты. Вторая цель потребует изменения нынешней политики ряда западных стран, где целые слои населения становятся беднее в абсолютном выражении, что вызывает гнев, обиды и поляризацию общества. Если не будет достигнута третья цель, все замечательные технологии ИИ, которые мы создаем, способны причинить нам вред, случайно или преднамеренно.

Исследования безопасности ИИ должны проводиться с четким пониманием того, что до появления ОИИ мы должны выяснить, как заставить ИИ понять, принять и уважать наши цели. Чем более интеллектуальными и мощными становятся машины, тем важнее согласовывать их цели с нашими. Пока мы строим относительно глупые машины, вопрос заключается не в том, будут ли преобладать человеческие цели и ценности, а в том, сколько хлопот могут доставить нам машины прежде, чем мы сумеем согласовать цели. Однако если однажды все-таки появится машинный сверхразум, то здесь уже все будет наоборот: поскольку интеллект есть способность ставить цели и их достигать, сверхразумный ИИ, по определению, будет превосходить людей в достижении собственных целей, а потому возьмет над нами верх.

Иными словами, реальный риск ОИИ состоит не в его злонамеренности, а в компетентности. Сверхразумный ОИИ будет реализовывать собственные цели; если окажется, что эти цели не совпадают с нашими, у нас возникнут проблемы. Люди не задумываются о затоплении муравейников при строительстве гидроэлектростанций, но не стоит помещать человечество в положение этих муравьев. Большинство исследователей утверждают, что, если мы когда-нибудь создадим сверхразум, он, как выразился пионер исследований по безопасности ИИ Элиезер Юдковски, должен быть «дружественным» (то есть таким, который будет действовать на благо человечества).

Вопрос морального свойства о том, какими должны быть цели ИИ, актуален ничуть не меньше технических вопросов о согласовании целей. Например, какое общество мы рассчитываем создать, откуда берутся смысл и цели нашей жизни, даже если мы, строго говоря, планете не нужны? Мне часто отвечают следующим образом: «Давайте создадим машины, которые умнее нас, а затем спросим у них!» Налицо ошибочное отождествление разума и морали. Интеллект сам по себе ни добрый, ни злой, он морально нейтрален. Это лишь способ достигать сложных целей, хороших или плохих. Нельзя утверждать, что все сложилось бы намного лучше, окажись Гитлер умнее. Действительно, откладывать рассмотрение этических вопросов до момента появления ОИИ с согласованными целями было бы безответственно – и потенциально катастрофично. Совершенно послушный сверхразум, цели которого автоматически совпадают с целями творцов-людей, будет похож на нацистского оберштурмбаннфюрера Адольфа Эйхмана на стероидах. Лишенный моральных устоев и собственных ограничений, он с безжалостной эффективностью станет реализовывать цели своего хозяина, каковы бы те ни были.

Когда я говорю о необходимости изучить технологические риски, меня порой упрекают в паникерстве. Но здесь, в Массачусетском технологическом институте, где я работаю, мы знаем, что анализ рисков – не паникерство, а соблюдение техники безопасности. Перед полетом астронавтов на Луну НАСА систематически проверяло, что может дать сбой в 110-метровой ракете, наполненной легковоспламеняющимся топливом, потому что в космосе им уже никто не сможет помочь (если коротко, очень многое могло дать сбой). Это паникерство? Нет, это техника безопасности, которая обеспечила успех миссии. Точно так же мы должны проанализировать, что может пойти не так в области ИИ, чтобы убедиться в правильности происходящего.

Итак, если наши технологии опережают обретение мудрости, благодаря которой мы с ними справляемся, это обстоятельство может привести к нашему исчезновению. По некоторым оценкам, оно уже привело к исчезновению от 20 до 50 процентов всех видов живых существ на Земле, и было бы странно, не окажись мы сами следующими в очереди. Вдобавок будет жаль, если так случится, учитывая возможности ОИИ – поистине астрономические, сулящие процветание жизни на протяжении миллиардов лет, не только на Земле, но и во многих уголках космоса.

Вместо того чтобы упускать такую возможность из-за псевдонаучного отрицания рисков и скверного планирования, давайте будем амбициозными! Ведь Homo Sapiens амбициозен по природе, о чем напоминают знаменитые строки Уильяма Эрнеста Хенли из стихотворения «Непокоренный»: «Я властелин моей судьбы, / Я капитан моей души». Хватит дрейфовать как корабль без руля и ветрил, морально готовясь отправиться на свалку истории, давайте соберемся и преодолеем технические и социальные проблемы, стоящие между нами и благим высокотехнологичным будущим. А что насчет экзистенциальных проблем, связанных с моралью, целеполаганием и смыслом? В физических законах смысл не закодирован, и не стоит пассивно ждать, пока наша Вселенная ниспошлет его нам; давайте признаем и порадуемся, что именно мы, сознательные существа, придаем смысл нашей Вселенной. Давайте созидать наши собственные смыслы, содержащие нечто более важное, нежели наличие рабочих мест. ОИИ может помочь нам наконец-то стать хозяевами своей судьбы. Давайте сделаем эту судьбу по-настоящему прекрасной!