Ключевая цель пуэрто-риканской конференции состояла в том, чтобы сосредоточить интерес исследователей искусственного интеллекта на теме AI-безопасности, и было исключительно занятно видеть, как это происходит: процесс разделился на великое множество шагов. Сначала была сама встреча, на которой многие исследователи почувствовали себя значительно увереннее и спокойнее, когда обнаружили, что их дело собирает вокруг себя целое сообщество специалистов. Слова поддержки от многих из участников были для меня очень важны. Специализирующийся на AI профессор Корнеллского университета Барт Зельман прислал мне мейл: “Честно признаюсь: я никогда не видел лучше организованного, более восхитительного и воодушевляющего научного собрания”.

Следующий этап начался 11 января, когда Илон Маск написал в своем Twitter: “Ведущие разработчики искусственного интеллекта подписывают открытое письмо, призывающее к проведению исследований по AI-безопасности”, с линком на открытую для подписей страницу с письмом, где очень скоро значилось уже более восьми тысяч подписей, включая имена самых известных создателей интеллектуальных систем мира. Внезапно оказалось очень трудно отмахиваться от тех, кто призывает побеспокоиться об AI-безопасности, как от неспециалистов, потому что из этого немедленно бы следовало, что и самые крутые специалисты по искусственному интеллекту тоже не специалисты. О письме сообщили СМИ, и сделали это так, что мы порадовались своему решению не пускать их на конференцию. Хотя самым алармистским словом в нашем письме было “ловушка”, но, тем не менее, оно дало толчок к появлению, например, такого заголовка: “Илон Маск и Стивен Хокинг подписывают открытое письмо в надежде предотвратить восстание роботов”, проиллюстрированного убийственными терминаторами. Из сотен отслеженных нами статей больше других нам понравилась та, в которой, иронизируя над прочими, автор писал: “Использование в статье образов скелетоподобных андроидов, пинающих ногами человеческие черепа, превращает сложную, трансформирующую мир технологию в карнавальное слайд-шоу”. К счастью, было также много трезвых статей, но теперь они создали для нас новую проблему: сдерживать поток новых подписей, вручную верифицируя их ради сохранения доверия к нашему делу и избавляясь от пранков вроде “HAL 9000”, “Терминатор”, “Сара Коннор” или “Скайнет”. Ради этого и ради наших будущих открытых писем Виктория Краковна и Янош Крамар помогли организовать бригаду волонтеров, среди которых были Джесси Галеф, Эрик Гастфренд и Реватхи Винотх Кумар, работавшие посменно, так что когда Реватхи в Индии отправлялась спать, она передавала бразды правления Эрику, и так далее.

Третий этап переноса проблемы AI-безопасности в центр внимания исследователей начался четыре дня спустя, когда Маск выложил в своем твиттере ссылку на наше объявление о его дотации в 10 миллионов долларов на исследования по AI-безопасности. А неделю спустя мы запустили онлайн-портал, где исследователи со всего мира могли подать заявку на конкурс для получения своей части из этой суммы. Мы смогли подстегнуть работу системы подачи заявок, раскрутив ее так быстро, только потому, что мы с Энтони Агирре все предыдущее десятилетие запускали подобные конкурсы для распределения грантов по физике. Калифорнийский благотворительный фонд “Open Philanthropy Project”, заинтересованный в предоставлении грантов проектам, которые обещают высокоэффективную отдачу, великодушно согласился пополнить дотацию Маска, дав нам возможность увеличить количество грантов. Мы не знали, сколько может быть заявок, поскольку тема исследования была новой, а срок проведения конкурса – коротким. Но итог нас потряс: к нам обратились около трех сотен команд со всего мира, претендующих в общей сложности на 100 миллионов долларов. Группа специалистов по искусственному интеллекту тщательно изучила все предложения и выбрала тридцать семь заявок-победителей, которым выделялось финансирование на срок до трех лет. Когда мы объявили список победителей, медиа впервые отреагировали на итоги нашей деятельности довольно уравновешенно и обошлись без изображений роботов-убийц. Наконец-то стало ясно, что исследования по AI-безопасности – не пустые разговоры: есть нужное дело, и его предстоит выполнить, и есть много исследовательских команд, закатывающих рукава, чтобы объединить свои усилия.

Четвертый этап органично протекал сам собой на протяжении следующих двух лет. Тучи технических публикаций и десятки семинаров по AI-безопасности во всем мире, обычно в составе общей тематики мейнстримных конференций по искусственному интеллекту. Самые настойчивые тратили годы, чтобы привлечь сообщество к исследованиям по AI-безопасности, и без успеха, а теперь все действительно завертелось. Многие из публикаций финансировались нашей программой, и мы в FLI старались помогать в организации и финансировании многих таких семинаров, но все бóльшая их часть проходила на средства самих исследователей, которые вкладывали свои деньги и не жалели своего времени. В результате все больше ученых узнавало об исследованиях по AI-безопасности от своих коллег, обнаруживая, что кроме пользы они могут приносить радость, благодаря решению интересных математических и вычислительных задач, возникающих в связи с ними.

Сложные уравнения не всех радуют, конечно. Спустя два года после нашей конференции в Пуэрто-Рико мы готовились к конференции в Асиломаре и проводили в связи с этим технический семинар, где наши победители, выигравшие грант FLI, могли продемонстрировать результаты своих исследований, и мы рассматривали слайд за слайдом с наполняющими их математическими формулами на большом экране. Моше Варди, профессор по искусственному интеллекту из Райсовского университета, пошутил: он понял, что мы преуспели в превращении AI-безопасности в исследовательскую область, коль скоро конференции стали скучными.

Этот впечатляющий рост числа работ по AI-безопасности не ограничивался университетской наукой. Amazon, DeepMind, Facebook, Google, IBM и Microsoft – все эти компании запустили программы промышленного партнерства по созданию дружественного искусственного интеллекта. Новые внушительные пожертвования на исследования по AI-безопасности позволили существенно расширить их в наших крупнейших некоммерческих дочерних организациях: Machine Intelligence Research Institute в Беркли, Future of Humanity Institute в Оксфорде и Центр по изучению экзистенциальных рисков в Кембридже (Великобритания). Новые пожертвования в 10 миллионов долларов и больше стимулировали дальнейшие усилия в направлении создания дружественного искусственного интеллекта: Leverhulme Centre for the Future of Intelligence в Кембридже, K & L Gates Endowment for Ethics and Computational Technologies в Питтсбурге и Ethics and Governance of Artificial Intelligence Fund в Майами. Последний, но не менее важный, чем прочие в этом ряду, – проект на миллиард долларов при участии Илона Маска наряду с другими предпринимателями для запуска OpenAI, некоммерческой компании в Сан-Франциско по разработке дружественного искусственного интеллекта. Исследования по AI-безопасности пришли, чтобы остаться.

Синхронно с этим исследовательским всплеском пришла и волна мнений, выраженных как отдельными людьми, так и целыми коллективами. Промышленное “Partnership on AI” опубликовало свои основополагающие принципы. Длинные доклады со списками рекомендаций были опубликованы американским правительством, Стэнфордским университетом и IEEE (крупнейшим в мире объединением технических специалистов), вместе с десятками других докладов и программных документов отовсюду.

Мы стремились всецело способствовать содержательной дискуссии среди участников конференции в Асиломаре и выяснить, что именно может объединить эти разнообразные сообщества, если таковое вообще возможно. Лукас Перри взял на себя героическую задачу читать все те документы, которые нам присылали, и извлекать из них главное. В марафоне усилий, инициированных Энтони Агирре и завершенных серией длинных телеконференций, наша команда FLI попыталась сгруппировать предложения по близости высказанных позиций и, избавив их от бюрократического пустословия, превратить в единый список лаконичных принципов, прибавив к ним также некоторые неопубликованные, но влиятельные мнения, высказанные более или менее неофициально в ходе переговоров или при других обстоятельствах. Но список все еще содержал многочисленные двусмысленности и противоречия и оставлял слишком много возможностей для толкований, так что за месяц до начала конференции мы распространили его среди участников, чтобы они выразили свои мнения и дали предложения по улучшению имеющихся принципов или замене их новыми. В результате к началу работы конференции у нас был основательно пересмотренный список принципов, с которым можно было начинать работать.

В Асиломаре список вновь подвергся улучшениям, причем в два этапа. Во-первых, принципы обсуждали небольшие группы наиболее заинтересованных участников (рис. 9.4), которые предлагали подробные уточнения, отклики, новые принципы или новые версии старых. Во-вторых, мы опросили всех участников, чтобы определить уровень поддержки для каждой версии каждого принципа.

Эта коллективная работа была скрупулезной и изнурительной. Мы с Энтони и Мейей до предела сократили время, отведенное на сон и приемы пищи, чтобы успеть учесть все необходимое для наших последующих этапов. Но эта работа захватывала. После такого подробного, многоступенчатого, иногда вызывающего бурные дискуссии и опирающегося на самый широкий спектр откликов обсуждения мы были поражены тем единодушным согласием, которое было выражено по поводу большинства этих принципов в ходе нашего заключительного опроса – до 97 % поддержки по некоторым позициям. Этот консенсус позволил нам установить высокую планку для включения в окончательный список: мы оставили в нем только те принципы, с которыми согласились по крайней мере 90 % участников конференции. Хотя это означало, что некоторые довольно часто предлагавшиеся принципы были сняты в последнюю минуту, в том числе некоторые из тех, что очень нравились мне самому, но это позволяло большинству участников не испытывать никаких колебаний при одобрении всего подписанного ими списка, который по окончании был распространен по аудитории. И вот результат.

Величайшие умы, разбившись на группы, продумывают принципы разработки искусственного интеллекта в Асиломаре.