§ 19 Осторожность в отношении способностей: В отсутствие общего согласия мы должны избегать сильных предположений относительно верхнего предела будущих возможностей искусственного интеллекта.

§ 20 Значение для будущего: Продвинутый искусственный интеллект может стать причиной глубоких изменений в истории жизни на Земле, они должны планироваться и управляться с соразмерной заботой и привлечением необходимых ресурсов.

§ 21 Риски: Риски, связанные с развитием систем искусственного интеллекта, в особенности катастрофические или экзистенциальные, должны регулироваться соразмерными усилиями по планированию и смягчению последствий их ожидаемого воздействия.

§ 22 Последовательное самосовершенствование: Системы искусственного интеллекта, конструктивно предполагающие самосовершенствование или саморазмножение, которые могли бы привести к быстрому росту их качества или количества, должны подвергаться самому строгому контролю в плане безопасности и управляемости.

§ 23 Общее благо: Сверхразум может создаваться только для служения всеми разделяемым этическим идеалам и во благо всего человечества, а не какого-то одного государства или какой-то одной организации.

После того как мы вывесили список этих принципов онлайн, количество подписей под ним стало быстро расти, и сейчас среди них можно видеть имена более тысячи самых известных мыслителей и ведущих разработчиков интеллектуальных систем. Если и вы хотите поставить свою подпись, пройдите по ссылке: http://futureoflife.org/ai-principles.

Нас поразило не столько то, как высок был уровень всеобщего согласия относительно этих принципов, сколько сама их сила. Конечно, некоторые могут на первый взгляд показаться такими же спорными, как что-нибудь вроде “Мир, любовь и материнство – бесценны”. Но у многих из них есть настоящие зубы, которые можно заметить, например, если попытаться сформулировать отрицание. Например, утверждение “Сверхразум невозможен!” будет противоречить § 19, а “Проводить исследование, направленное на снижение экзистенциального риска от искусственного интеллекта, – только попусту тратить время!” будет противоречить § 21.

В самом деле, как вы можете самостоятельно убедиться, посмотрев на YouTube наши панельные дискуссии, посвященные долгосрочной перспективе, Илон Маск, Стюарт Рассел, Рэй Курцвейл, Демис Хассабис, Сэм Харрис, Ник Бострём, Дэвид Чалмерс, Барт Зельман и Яан Таллин – все согласились, что сверхразум, возможно, будет создан и исследования по безопасности важно проводить.

Я надеюсь, что наши Асиломарские принципы разработки искусственного интеллекта станут исходной точкой для более детальных дискуссий, которые в итоге приведут нас к созданию разумных стратегических и политических решений по отношению к искусственному интеллекту. В этом духе наш медиа-директор Эриел Конн работал с Такером Дави и другими членами нашей команды, проводя интервью среди ведущих исследователей по поводу их видения и интерпретаций создаваемых принципов, а Дэвид Стэнли и его команда международных волонтеров FLI переводили эти принципы на ключевые языки мира.