Глава 8. Меры предосторожности против активных действий

Самое безопасное и многообещающее будущее – это то, в котором мы не только не откладываем инновации, но принимаем во внимание возможные увеличивающиеся риски, которые сейчас «на совести кого-то другого».

Поскольку мощность технологий стремительно растет, я уверен, что необходимо установить баланс между мерами предосторожности и проактивностью. Первое означает, что необходимо активно изучать возможные последствия и непредвиденные результаты, прежде чем мы приступим к научному исследованию или развитию технологий. Этому противопоставляется подход, основанный на активных действиях, который выступает за движение вперед для достижения прогресса, прежде чем все потенциальные риски и последствия будут ясны.

Должны ли мы сдерживать науку, изобретателей и предпринимателей, если полученные изобретения могут оказать существенное негативное влияние на человечество? Обязательно. Должны ли мы останавливать или запрещать научные скачки, которые могут быть по большей части полезными для общества, но потребуют регулирования для достижения сбалансированного результата? Абсолютно точно нет. В действительности запретить такие достижения, может быть, даже невозможно.

Ответ на это, естественно, заключается в разумном и целостном балансе между этими двумя подходами, в требовании к нам быть еще более ответственными за наше будущее.

Давайте рассмотрим оба подхода более детально.

Первоначально, исходя из экологических соображений, принцип предосторожности предполагает, что те, кто создает вещи, которые могут привести к катастрофическим последствиям, должны сначала доказать, что любые непредвиденные последствия действительно можно будет контролировать. Другими словами, бремя доказательства, что эта рискованная затея в действительности не опасна, ложится на плечи того, кто хочет ее реализовать.

Этот принцип был применен в исследованиях рекомбинантных ДНК (на конференции в Асиломаре), и его трактовка непосредственно повлияла на работу, проделанную на Большом адронном коллайдере в ЦЕРНе в Швейцарии, для решения проблем, которые могут случайно привести к образованию черной дыры^{154, 155}. Как и в случае с Большим адронным коллайдером, коллективная осторожность в отношении технологических разработок должна явно превосходить потенциально катастрофические нововведения, которые могут быть слишком опасны для человечества. В Декларации в Уингспреде (1999) предупредительный принцип излагается следующим образом:

Если результат деятельности создает угрозу для здоровья человека или окружающей среды, следует принять меры предосторожности, даже если некоторые причинно-следственные связи не установлены научно. В этом случае бремя доказательства несет инициатор деятельности, а не общественность¹⁵⁶.

В Рио-де-Жанейрской декларации по окружающей среде и развитию 1992 года предложен еще более жесткий принцип: «В тех случаях, когда существует угроза серьезного или необратимого ущерба, отсутствие полной научной уверенности не используется в качестве причины для отсрочки принятия экономически эффективных мер по предупреждению ухудшения состояния окружающей среды»¹⁵⁷.

Я думаю, что оба эти утверждения справедливы, если принимать во внимание искусственный интеллект, машинный интеллект, автономные системы, редактирование генома человека и геоинженерию. Наоборот, принцип проактивности объясняет, что человечество всегда изобретало технологии и очень рисковало. Поэтому мы не должны вводить чрезмерные ограничения для того, что люди могут или не могут изобрести. Кроме того, этот принцип предусматривает, что мы должны учитывать и затраты на потенциальные ограничения, и затраты на упущенные возможности.

Принцип проактивности был введен философом-трансгуманистом Максом Мором, ¹⁵⁸ и далее был сформулирован британским социологом Стивом Фуллером, ii, ¹⁵⁹. Поскольку сама идея трансгуманизма основана на концепции преодоления наших биологических возможностей, то есть возможности, по крайней мере, частично стать машиной, то неудивительно, что беспрепятственная активная деятельность является естественной частью этой истории.

Продуманный и гуманистический баланс

Вот что я предполагаю: избыток мер предосторожности может парализовать нас страхом и создать самоусиливающийся цикл сдержанности. Такое изгнание передовых научных, технологических, инженерных и математических (система STEM) видов деятельности или игр в подземелье, скорее всего, сделает преступниками тех, кто вовлечен в них. Очевидно, это не лучший подход к решению проблемы, потому что фактически мы можем обнаружить, что есть вещи, дальнейшее исследование которых будет нашей обязанностью, например, борьба с раком. Вещи, помогающие человечеству процветать, обязывают нас предоставить им свободу.

Однако сугубо проактивный подход не сработает в этом случае, потому что на кону стоит слишком много, учитывая экспоненциальный, комбинаторный и взаимозависимый характер технологических достижений, которые мы сейчас испытываем. Одни опасаются, что технологии практически точно в конечном итоге превзойдут человечество, если мы просто будем придерживаться проактивного подхода, как это происходит на сегодняшний день. Подобно тому как слишком много мер предосторожности будут душить прогресс и инновации, слишком большая активность освободит мощные и, вероятно, неконтролируемые силы, которые на данный момент мы должны хранить «под замко́м».

Наша задача, как всегда, будет заключаться в том, чтобы найти и сохранить этот баланс – между ящиком Пандоры и лампой Аладдина.

Мы находимся на экспоненциальном и комбинаторном пути во многих связанных с системой STEM дисциплинах. Многие традиционные подходы к обеспечению безопасности окажутся бесполезными, потому что скорость изменений и масштабы потенциальных нежелательных последствий значительно увеличились с тех пор, как кривая достигла точки поворота в 2016 году, когда мы начали увеличивать их с четырех до восьми (не до пяти) и сделали этот первый по-настоящему огромный шаг.

Подход, который отлично работал, когда мы удваивали показатель с 0,01 до 0,02 или даже с одного до двух, может не сработать, когда мы постепенно увеличиваем показатели с четырех до 128 – просто-напросто ставки крайне высоки, а последствия слишком сложны для осознания людьми.

Представьте последствия, если мы будем активно использовать ИИ, геоинженерию и редактирование генома человека. Представьте участие в гонке вооружений с системой управления и ИИ, способными убивать без контроля со стороны человека. Представьте, что государства-изгои и негосударственные субъекты контролируют погоду и могут стать причиной непоправимого ущерба для атмосферы. Представьте, что исследовательская лаборатория в стране с не слишком прозрачной политикой разработает формулу для программирования суперлюдей.

Джеймс Баррат в своей книге «Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens» резюмирует:

Мы не хотим получить ИИ, который выполнил бы наши краткосрочные задачи (пожалуйста, спаси нас от голода) при помощи мер, вредных в долгосрочной перспективе (к примеру, поджарив одновременно всех кур на планете), или таких, против которых мы возражали бы в принципе (убив нас всех после ближайшей же трапезы).

Слишком много поставлено на кон, чтобы следовать полному и неограниченному технологическому энтузиазму или просто сказать, что это неизбежно или такова наша судьба.

Стоит прочитать оригинальное заявление трансгуманиста Макса Мора по этой теме в 2005 году:

Принцип предосторожности, хоть и связанный с благими намерениями многих его сторонников, по своей сути приводит к смещению институтов принятия решений в сторону статус-кво и отражает реактивный, чрезмерно пессимистический взгляд на технический прогресс. И наоборот, принцип проактивности призывает все стороны обязательно учитывать последствия их деятельности – как хорошие, так и плохие – и применять меры предосторожности к реальным угрозам, с которыми мы сталкиваемся. В то время как предосторожность сама по себе предполагает прогнозирование для приготовления к возможным угрозам, принцип, сформировавшийся вокруг этого явления, угрожает благополучию людей. Принцип предосторожности закреплен во многих международных природоохранных договорах и нормативных актах, что обуславливает острую необходимость предложить альтернативный принцип и набор критериев. Потребность в принципе проактивности станет ясна, если мы поймем недостатки принципа предосторожности¹⁶¹.

С одной стороны, я не могу не согласиться с большей частью аргументов Мора, особенно учитывая мой прошлый опыт в Кремниевой долине как интернет-предпринимателя, пытающегося продвигать инновации. Но с другой стороны, Макс написал это в 2005 году, почти за десять лет до того момента, когда мы достигли точки поворота в развитии быстрорастущих технологий. То, что тогда могло показаться разумным, но немного технико-ориентированным, могло бы привести к опасным решениям сегодня. Вы действительно хотите, чтобы ваше будущее определяли неподотчетное правительство с непрозрачной политикой, руководители Кремниевой долины, жадные венчурные капиталисты или военные организации, такие как Управление перспективных исследовательских проектов Министерства обороны США (DARPA)?