Глава 4
Взрыв разума?
Если машина может мыслить, то она, возможно, будет мыслить разумнее, чем мы это делаем, и где же мы тогда будем? Даже если мы сможем держать машины в подчиненном положении, мы все равно, как вид, почувствуем себя униженными.
Алан Тьюринг, 1951
Первая ультраразумная машина – это последнее изобретение, которое надо сделать человеку, при условии, что эта машина будет достаточно к нам расположена, чтобы сообщить, каким образом мы сможем держать ее под своим контролем.
Ирвинг Гуд, 1965
Поскольку мы не можем полностью отвергнуть возможность, что рано или поздно универсальный искусственный интеллект человеческого уровня будет создан, давайте посвятим эту главу исследованию того, к чему это может привести.
Может ли искусственный интеллект и в самом деле захватить власть над миром, или помочь людям сделать это?
Если вы закатываете глаза, когда слышите разговоры о вооруженном захвате роботами-терминаторами всего мира, то ваша реакция точна: такой сценарий совсем не реалистичен. Эти голливудские роботы не могут оказаться умнее нас, да и вообще оказаться умными. По-моему, опасность, таящаяся в истории о Терминаторе, заключается не в том, что может случиться нечто подобное, а в том, что она отвлекает наше внимание от подлинных рисков и опасностей, связанных с искусственным интеллектом. Переход от нынешнего мира к миру, в котором верх и вправду одержан универсальным искусственным интеллектом, требует трех логических шагов:
• Шаг 1-й. Создать универсальный искусственный интеллект (AGI) на уровне человеческого.
• Шаг 2-й. Использовать этот AGI для создания сверхразума.
• Шаг 3-й. Использовать сверхразум для захвата мира или дать ему возможность сделать это самостоятельно.
В предыдущей главе мы видели, что невозможно отмести шаг 1 как заведомо исключенный. Мы также видели, что если шаг 1 сделан, то становится сложно отмести шаг 2 как безнадежный, так как созданный AGI будет вполне в состоянии непрерывно совершенствовать себя в пределах, определенных исключительно законами природы, которые, по всей видимости, допускают существование разума, превосходящего человеческий. Наконец, поскольку мы, люди, смогли обойти все остальные формы земной жизни, оказавшись умнее, предположение, что сверхразум сможет обойти нас, оказавшись умнее, выглядит также правдоподобным.
Эти рассуждения о правдоподобии выглядят обескураживающе смутными и неопределенными, однако – дьявол в деталях. Может ли искусственный интеллект и в самом деле захватить мир? Чтобы заняться этим вопросом, давайте забудем о дурацких терминаторах и обсудим вместо этого подробные сценарии того, что могло бы произойти. Затем мы поскребем их пальцем и попробуем на зуб, эти придуманные нами сюжетные ходы, так что отнеситесь к ним с должной долей иронии: главным образом эти сценарии показывают, что может, а что не может произойти, и разброс возможностей здесь невероятно велик. Наши первые сценарии лежат на том конце спектра, где события развиваются наиболее быстро и драматично. Разобраться с ними до мельчайших подробностей, на мой взгляд, наиболее важно: не потому, что они наиболее вероятны, а как раз потому, что если мы не можем убедиться, что они исключительно невероятны, то мы должны достаточно хорошо понять их и принять необходимые меры предосторожности, пока не стало слишком поздно и скверные последствия уже неизбежны.
В “Прелюдии” в этой книге нам уже встречался сценарий, в котором люди достаточно сверхразумны, чтобы завладеть всем миром. Если вы не стали читать ее, пожалуйста, вернитесь к ней сейчас и прочтите. Ну а если вы ее прочитали, пожалуйста, пробегите глазами снова, чтобы освежить в памяти, прежде чем мы будем ее критиковать и анализировать.
Мы сейчас обсудим некоторые серьезные уязвимости в плане “Омеги”. Но допустим на мгновение, что он сработал, – что бы вы почувствовали? Хотели бы вы посмотреть, что будет, или хотели бы предотвратить подобное? Какой замечательный сюжет для разговора после ужина! Что будет потом, после того как “омеги” упрочат свою власть над миром? Это зависит от их целей, которые мне, честно говоря, неизвестны. Но если бы вы были во главе их, какого будущего вы бы хотели для мира? Мы обсудим пределы возможностей в главе 5.
