Рождение института было ознаменовано началом удивительного приключения, которое продолжается до сих пор. Как уже рассказывалось в главе 1, мы стали регулярно собирать у себя дома по несколько десятков идеалистически настроенных студентов, профессоров и других мыслящих людей из числа наших соседей. Лучшие идеи становились проектами – первым среди них была та самом колонка об искусственном интеллекте, написанная вместе со Стивеном Хокингом, Стюартом Расселом и Фрэнком Вильчеком, о которой я рассказал в главе 1 и которая помогла разжечь публичные дебаты. Параллельно с первыми шагами, необходимыми при создании новой организации (регистрация, найм консультантов и запуск веб-сайта), мы провели веселую презентацию, посвященную рождению института, в переполненной аудитории MIT, в ходе которой Алан Алда побеседовал о технологиях будущего с ведущими экспертами.

Яан Таллин, Энтони Агирре, ваш покорный слуга, Мейя Чита-Тегмар и Виктория Краковна отмечают создание FLI 23 мая 2014 года.

Всю остальную часть года мы посвятили организации конференции в Пуэрто-Рико, которая, как говорилось в главе 1, ставила своей целью привлечение ведущих мировых экспертов в области искусственного интеллекта к дискуссии о том, как обеспечить его дружественность. Мы стремились главным образом к тому, чтобы в разговорах о безопасности центр тяжести был перенесен с предупреждений об угрозах на привлечение к работе: надо было прекращать пререкаться о том, по какому поводу следует больше всего беспокоиться, и искать области общего согласия, дающие возможности объединять усилия в конкретных исследовательских проектах, в которых шанс положительного результата был бы максимален. Для начала мы собирали наиболее перспективные идеи в исследованиях безопасности искусственного интеллекта по всему миру и просили наше сообщество присылать нам свои отклики на те из них, которые мы включали в наш растущий список. С помощью Стюарта Рассела и группы молодых трудолюбивых волонтеров, среди которых выделились Дэниел Дьюи, Янош Крамар и Ричард Маллах, мы определили среди них исследовательские приоритеты, собрав их в отдельный документ, который вынесли на обсуждение в ходе пленарного заседание конференции. Достигнув общего согласия относительно наиболее ценных, достойных проведения исследований, мы надеялись поощрить людей к тому, чтобы действительно провести такие исследования. Особенно желательным было бы для нас, если бы нам удалось убедить кого-нибудь поддерживать такие исследования финансово, так как пока у нас не было фактически никакой поддержки со стороны правительственных финансовых учреждений.

Появился Илон Маск. 2 августа наши радары засекли его знаменитый твит “Стоит почитать Бострёма о сверхразуме. Нам надо быть предельно острожными в отношении искусственного интеллекта. Потенциально эта штука опаснее бомбы”. Я связался с ним, чтобы рассказать о наших усилиях, а через несколько недель мне довелось поговорить с ним по телефону еще раз. Хотя я очень нервничал и его звездность меня подавляла, результат оказался потрясающим: он согласился войти в научный совет FLI, принять участие в нашей конференции и даже, может быть, профинансировать первую исследовательскую программу, посвященную проблемам безопасности искусственного интеллекта, запуск которой планировалось анонсировать на пуэрто-риканской конференции. Это наэлектризовало всех в институте, мы удвоили наши усилия, чтобы провести достойную конференцию, выявить на ней актуальные исследовательские направления и выстроить поддерживающее их сообщество.

В конце концов я встретился с Илоном Маском и лично, когда он два месяца спустя приехал в MIT для участия в симпозиуме по космонавтике. Очень странно было оказаться с ним лицом к лицу наедине в маленькой зеленой комнате всего через несколько мгновений после того, как он, словно рок-звезда, стоял, окруженной тысячами завывающих от восторга студентов MIT, но прошло еще несколько минут, и я уже не мог думать ни о чем, кроме нашего совместного проекта. Он мне сразу понравился. Я чувствовал излучаемую им искренность и был вдохновлен его неподдельной заботой о долгосрочном будущем человечества, а также тем, как решительно он превращал свои устремления в конкретные дела. Он хотел, чтобы люди продолжали исследовать Вселенную и осваивать ее. Поэтому он создал космическую компанию. Он поддерживал идею возобновляемой энергии, и поэтому начал производство солнечных батарей и электромобилей. Высокий, привлекательный внешне, красноречивый и невероятно просвещенный – совсем не удивительно, почему его так внимательно слушают.

К сожалению, в тот же раз я получил и неприятный урок: СМИ иногда могут сеять страх и раздор среди людей. Часовое публичное выступление Маска было посвящено увлекательнейшему рассказу об исследовании космоса, и я был убежден, что из него можно будет сделать потрясающее ТВ-шоу. В самом конце какой-то студент задал ему не имеющий отношения к теме выступления вопрос об искусственном интеллекте. Ответ Маска содержал фразу: “С искусственным интеллектом мы вызываем дьявола”, – и только об этом и сообщалось в СМИ. Причем практически вне всякого контекста. Меня поражало, как многие журналисты неосознанно делали прямо противоположное тому, чего мы пытались достичь нашей конференцией в Пуэрто-Рико. В то время как мы хотели создать в сообществе базовый консенсус, находя почву для объединения, СМИ стремились подчеркивать то, что нас разделяет. Чем больше они сообщали о наших разногласиях, тем более высокое место они занимали в рейтинге Нильсена и тем быстрее рос рекламный бюджет. Более того, при том что мы хотели помочь людям, придерживающимся противоположных мнений, объединиться, понять друг друга и начать действовать вместе, сообщения СМИ вызывали в людях с противоположными мнениями раздражение друг против друга, усугубляя их взаимное непонимание публикацией только самых провокационных высказываний, – всегда лишенных контекста. По этой причине мы забанили журналистов на своей конференции в Пуэрто-Рико и установили там правило Чатем-хауса, которое запрещало участникам конференции рассказывать во время и после нее кому бы то ни было кто что говорил.

Хотя конференция в Пуэрто-Рико прошла успешно, нам этот успех дался совсем не легко. Пошедший обратный отсчет требовал скрупулезной подготовительной работы, включавшей, например, мои переговоры по телефону и Skype, чтобы собрать критическую массу экспертов, достаточную для притяжения всех остальных будущих участников; в ней были и свои драматические моменты – например, когда я встал в 7 утра 27 декабря, чтобы сквозь хрипы и треск ненадежного соединения услышать голос Маска, говорившего мне из Уругвая: “Я не думаю, что это может сработать”. Его беспокоило, что программа исследований по AI-безопасности может родить ложное чувство успокоенности, и безрассудные ученые будут заниматься своими разработками, отговариваясь от необходимых мер безопасности лишь пустыми словами. Но тогда, несмотря на то что связь то и дело прерывалась, мы смогли подробно поговорить о колоссальных преимуществах переноса этой тематики в центр нашего предметного поля и объединения всех, кто занимается искусственным интеллектом, вокруг проблем безопасности. Когда разговор окончательно прервался, он послал мне один из самых моих любимых мейлов: “Звонки до меня больше не проходят. Но все вроде бы решено. Я счастлив буду поддержать исследования 5 миллионами на ближайшие три года. Или все-таки надо десять?”.

Через четыре дня начался 2015 год, для нас с Мейей начало было хорошим: мы встречали Новый год, избавленные от приготовлений, танцуя на пуэрто-риканском пляже при свете фейерверков. Конференция тоже началась большим успехом: сложился примечательный консенсус участников по поводу того, что вопросы AI-безопасности требуют существенно большего внимания, и, опираясь на дальнейшее содействие участников конференции, мы смогли довести до окончательного совершенства итоговый документ об исследовательских приоритетах, над которым так много работали. Мы распространили среди участников проект коллективного письма из главы 1 о необходимости проводить исследования безопасности и были рады, что почти все участники конференции подписали его.

У нас с Мейей прошла очень вдохновившая нас беседа с Маском в нашей комнате в отеле, во время которой он благословил наш подробный план программы грантов. Мейю очень тронуло, насколько ясно и просто он рассказывал о своей частной жизни и какой интерес проявил к нашей. Он спросил нас о нашей встрече, и обстоятельный рассказ Мейи очень ему понравился. На следующий день мы записывали интервью с ним о AI-безопасности и о том, почему он поддерживает такие исследования. Все шло как по маслу.

Высшая точка нашего собрания – объявление о дотации Маска, оно было назначено на воскресенье, 4 января 2015 года, на 7 часов вечера. Я был так взволнован, что полночи проворочался без сна. А потом, всего за тринадцать минут до нашей предполагавшейся встречи, после чего мы должны были пойти на собрание, вдруг все рухнуло! Позвонил секретарь Маска и сказал, что Маск, похоже, не сможет прийти и сделать свое объявление. Мейя говорит, что она никогда не видела меня таким потрясенным и разочарованным. Но Маск все же пришел, и я слышал, как секунда отсчитывается за секундой, приближая начало собрания, пока мы сидели и разговаривали. Он объяснял, что до запуска SpaceX остается всего два дня, для них это жизненно важный этап, и они очень рассчитывают произвести первый в истории возврат отстрелившейся первой ступени на самоуправляемую платформу. Из-за этого команда SpaceX очень не хочет, чтобы внимание медиа отвлекалось на какие-то посторонние события с его участием. Энтони Агирре, хладнокровный и рассудительный как всегда, заметил, что никто не хочет привлекать к предстоящему собранию внимания медиа, ни Маск, ни наше сообщество. В результате собрание началось с опоздания в несколько минут, я должен был его вести, и у нас уже сложился план: сумма дотации не будет оглашена, чтобы объявление не содержало в себе новостного повода; более того, я, со ссылкой на Чатем-хауc, призвал присутствующих держать объявление Маска в секрете на протяжении как минимум девяти дней, пока ракета не достигнет станции, независимо от успеха с возвращением первой ступени; сам Маск добавил, что будет нуждаться в значительно более продолжительном молчании, если ракета взорвется на старте.

Обратный отсчет дошел до нуля. Сверхразумный президиум сидит на сцене на своих стульях: Элиезер Юдковски, Илон Маск, Ник Бострём, Ричард Маллах, Мюррей Шанахан, Барт Зельман, Шейн Легг, Вернор Виндж. Аплодисменты в зале постепенно стихают, но президиум продолжает сидеть: я сказал им, чтобы они оставались на местах, хотя и не объяснил зачем. Мейя позже говорила мне, что ее пульс в тот момент достиг стратосферы, а рукой под столом она вцепилась в успокаивающую руку Виктории Краковны. Я улыбался. Я знал, что ради этого момента мы так долго работали, так надеялись и так ждали его.

Я счастлив, что на нашей встрече мы достигли общего согласия относительно необходимости продолжения исследований в области создания дружественного искусственного интеллекта, говорил я, и что сейчас мы определили так много конкретных исследовательских направлений, в которых можем двигаться прямо сейчас. Но во время этой сессии было также много разговоров о рисках, добавил я, и поэтому было бы хорошо закрепить наш успех, взглянуть на будущее с большим оптимизмом, прежде чем мы направимся к бару и приступим к ожидающему нас банкету. “И поэтому я передаю свой микрофон … Илону Маску!” – я чувствовал, как творится история в тот момент, когда Маск взял протянутый микрофон и объявил, что будет поддерживать исследования по AI-безопасности крупными дотациями. Неудивительно, что его выступление завершилось овациями. Как и планировалось, он не назвал суммы, но я знал, что она составит 10 миллионов долларов, о которых мы условились раньше.

После конференции мы с Мейей отправились навестить наших родителей в Швецию и Румынию. В Стокгольме мы с отцом, затаив дыхание, смотрели прямую трансляцию старта ракеты. Попытка посадки завершилась неудачно; как эвфемистично определил ее Маск, – это был RUD, незапланированное быстрое разрушение (rapid unscheduled disassembly), и на то, чтобы благополучно вернуть первую ступень на океанскую платформу после старта ракеты, его команде понадобилось еще пятнадцать месяцев усилий. Однако все запущенные им спутники благополучно достигли орбиты, как и наша программа грантовой поддержки твитом Маска достигла миллионов его фолловеров.