Глава 9
Диссидентские послания

Яан Таллинн родился и вырос в Эстонии, когда та еще была советской социалистической республикой в составе СССР, и является одним из немногих разработчиков компьютерных игр с советским прошлым. В своем очерке он сравнивает диссидентов, уничтоживших железный занавес, с новыми диссидентами, которых тревожит быстрое развитие искусственного интеллекта. Парадоксальным образом он находит корни этого нового диссидентства среди пионеров в области ИИ, будь то Винер, Алан Тьюринг и И. Дж. Гуд.

Яана беспокоят экзистенциальные риски; на его взгляд, ИИ выделяется из прочих своим «экстремизмом». В 2012 году Таллинн стал соучредителем Центра по изучению экзистенциальных рисков – междисциплинарного исследовательского института, который стремится минимизировать риски, «связанные с новыми технологиями и деятельностью человека», – при Кембриджском университете; компанию ему составили философ Хью Прайс и королевский астроном Мартин Рис .

Однажды он охарактеризовал себя как «убежденного последователя», подразумевая, что достаточно убежден доказательствами для того, чтобы передать большую часть своего предпринимательского дохода Институту будущего жизни (соучредителем которого он является), научно-исследовательскому институту машинного интеллекта и другим подобным организациям, призванным минимизировать риски развития. Макс Тегмарк писал о нем: «Если вы – разумная форма жизни, читающая этот текст спустя миллионы лет и поражающаяся буйству жизни вокруг, не исключено, что вы в долгу перед Яаном».

Недавно в Лондоне мы с Яаном принимали участие в семинаре по искусственному интеллекту «Марафон Серпентайн-гэллери» в лондонской ратуше; ведущим семинара был Ханс-Ульрих Обрист (еще один из авторов настоящей книги). Поскольку затрагивался мир искусства, тем вечером в ратуше состоялся гламурный ужин, на который собрались творческие люди Лондона – художники, фотомодели, олигархи, звезды сцены и экрана. Побродив по залу и пообщавшись с публикой в своей привычной непринужденной манере («Привет, меня зовут Яан»), Таллинн внезапно воскликнул: «Пора танцевать хип-хоп!», рухнул на пол и принялся демонстрировать экзотические движения ошеломленным представителям «списка А». Позже он отправился в танцевальный клуб, как, по-видимому, всегда поступает в поездках. Ну что тут сказать?

В марте 2009 года я сидел в сетевой закусочной рядом с шумной калифорнийской автострадой. Мы договорились там встретиться с одним молодым человеком, блог которого я почитывал. Чтобы я мог его узнать, он нацепил на грудь значок с надписью: «Говори правду, даже если голос дрожит». Этого человека звали Элиезер Юдковски, и следующие четыре часа мы обсуждали его послание миру – именно оно привело меня в эту закусочную и в конечном счете определило характер моей дальнейшей работы.

В «Человеческом применении человеческих существ» Норберт Винер рассматривал мироздание сквозь призму коммуникации. Он видел перед собой Вселенную, которая марширует в лад со вторым законом термодинамики и движется к неизбежной тепловой смерти. В такой Вселенной единственными (мета)стабильными сущностями оказываются сообщения – информационные структуры, распространяющиеся во времени, подобно волнам, которые разбегаются по поверхности водоема. Даже нас, людей, можно трактовать как сообщения, поскольку атомы наших тел живут слишком недолго, чтобы отождествлять их с личностью. Мы лишь «послания», передаваемые телесными функциями. Как заметил Винер: «Сама структура, поддерживаемая этим гомеостазисом, является, если угодно, критерием нашей личной индивидуальности».

Мне привычнее считать фундаментальными «кирпичиками» мироздания процессы и вычисления. Тем не менее точка зрения Винера позволяет выявить ряд любопытных аспектов, которые иначе наверняка остались бы в тени, – а ведь они во многом определили мою жизнь. Речь о двух, скажем так, посланиях, восходящих ко Второй мировой войне. Они составлялись изначально как скромные диссидентские послания того сорта, на который люди обычно не обращают особого внимания, даже если в целом молчаливо и, возможно подсознательно, одобряют. Первое послание гласило: Советский Союз возник из череды незаконных оккупаций. Это должно прекратиться раз и навсегда.

Будучи эстонцем, я вырос за железным занавесом – и очутился в первых рядах зрителей, когда этот занавес падал. Это первое послание я улавливал в ностальгических воспоминаниях моих дедушек и бабушек и среди треска глушилок, пытавшихся помешать трансляциям «Голоса Америки». Послание зазвучало громче в эпоху Горбачева, ибо государство начало более снисходительно относиться к диссидентам, и достигло крещендо в эстонской «певческой революции» в конце 1980-х годов.

В подростковом возрасте я был свидетелем того, как послание распространялось среди широкой публики, от активных диссидентов, которые озвучивали его на протяжении полувека, не жалея и не щадя себя, вплоть до художников и литераторов, а также членов компартии и политиков, постепенно усваивавших новую идеологию. Эта новая элита представляла собой эклектичное сочетание диссидентов первой волны, сумевших пережить репрессии, интеллектуалов и (к великому раздражению упомянутых диссидентов) даже бывших коммунистов. Оставшиеся догматики – среди них были даже выдающиеся люди – в конце концов очутились на обочине истории, некоторые из них перебрались в Россию.

Интересно, что по мере распространения послания от группы к группе его содержание уточнялось. Вначале все было просто и бескомпромиссно («Оккупация должна закончиться!»); так утверждали диссиденты, полагавшие, что правда важнее личной свободы. Широкая публика, не готовая на жертвы, поначалу воспринимала послание в смягченной форме, скажем, заявляла, что было бы целесообразно в долгосрочной перспективе передать решение местных вопросов на местный уровень. (Разумеется, встречались исключения: ряд интеллектуалов-лидеров озвучивали исходное диссидентское послание дословно.) В итоге первоначальное послание – просто потому, что оно было правдиво – возобладало, а смягченные варианты исчезли. Эстония вернула себе независимость в 1991 году, а последние советские войска покинули ее территорию три года спустя.

Люди, которые рискнули сказать правду (в Эстонии и в других странах Восточного блока), сыграли колоссальную роль в достижении результата, изменившего жизнь сотен миллионов людей, в том числе мою. Они говорили правду, даже когда их голоса дрожали.

Мое знакомство со вторым революционным посланием состоялось благодаря блогу Юдковски; этот блог побудил меня связаться с его автором и договориться о встрече в Калифорнии. Суть послания была такова: дальнейшее развитие ИИ может спровоцировать изменения космических масштабов; это безудержный процесс, который, вероятно, убьет всех на планете. Нужно приложить серьезные дополнительные усилия, чтобы этого не случилось.

После встречи с Юдковски я попытался заинтересовать его посланием своих коллег по Skype и ближайших соратников. У меня ничего не вышло. Послание казалось едва ли не безумным, уж точно откровенно диссидентским. Время прислушаться к нему еще не наступило.

Лишь много позже я узнал, что Юдковски не сам пришел к этой мысли, что не его следует считать первым диссидентом от ИИ. В апреле 2000 года Билл Джой, соучредитель и главный научный сотрудник «Сан майкросистемс», опубликовал в журнале «Wired» довольно-таки длинную статью «Почему будущее обойдется без нас». Он предостерегал:

Несложно догадаться, что статья Джоя вызвала много шума, но, по сути, ничего не изменилось.

Еще удивительнее для меня было то, что предупреждения о рисках ИИ стали раздаваться почти одновременно с возникновением информатики как научной дисциплины. В лекции 1951 года Алан Тьюринг заявил: «Кажется вероятным, что с началом развития метода машинного мышления не понадобится много времени, чтобы машина превзошла наш слабый разум… Поэтому на каком-то этапе мы вправе ожидать, что машины возьмут все под контроль…» Десять лет спустя коллега Тьюринга по Блетчли-парку И. Дж. Гуд писал: «Первая же ультраинтеллектуальная машина станет последним изобретением, которое человек когда-либо сделает, при условии, что машина будет достаточно послушной и поведает нам, как именно следует ее контролировать». Признаться, я насчитал с полдюжины мест в «Человеческом применении человеческих существ», где Винер намекает на те или иные особенности «проблемы управления» (скажем, такое: «подобна джинну, не факт, что она будет машина, способная к обучению и принятию решений на базе этого обучения, принимать те решения, какие приняли бы мы сами или какие были бы приемлемыми для нас»). Очевидно, что первыми диссидентами, предупреждавшими о рисках ИИ, были сами пионеры разработки ИИ!

Известно множество аргументов – обоснованных и не слишком – в доказательство того, что «проблема управления» реальна, что это не какая-то нелепая фантазия. Позвольте привести всего один, отлично иллюстрирующий масштаб проблемы.

В последнюю сотню тысяч лет мир (подразумевается Земля, но этот аргумент приложим и к Солнечной системе, а также, возможно, к Вселенной в целом) существовал, скажем так, в восприятии человеческого мозга. Это означает, что мозг Homo Sapiens признавался наиболее сложным механизмом формирования будущего (вообще-то, некоторые утверждали, что во Вселенной и вовсе не найти объекта сложнее и изощреннее). Изначально мы использовали мозг только для выживания и проведения племенной политики в сообществе охотников за едой, но сегодня возможности мозга намного превосходят эффекты естественной эволюции. Планета прошла путь от производства лесов до производства городов.

Согласно предсказанию Тьюринга, когда появится сверхчеловеческий ИИ («метод машинного мышления»), главенство человеческого мозга закончится. Оглянитесь вокруг – мы являемся свидетелями финальной фазы восприятия мира, длившейся сотню тысяч лет. Сама эта мысль должна заставить задуматься, прежде чем расценивать ИИ как очередной инструмент. Один из ведущих мировых исследователей ИИ недавно признался мне, что для него будет большим облегчением узнать, что искусственный интеллект человеческого уровня невозможен.

Конечно, нам наверняка понадобится много времени для разработки человекоподобного ИИ. Но есть все основания подозревать, что дело не во времени. В конце концов, эволюция – слепой и неуклюжий процесс оптимизации – длилась относительно недолго, когда затронула животных, но привела к появлению человеческого интеллекта. Или возьмем в качестве примера многоклеточную жизнь. Пожалуй, вынудить клетки держаться вместе для эволюции было гораздо труднее, чем создать людей, когда появились многоклеточные организмы. Не говоря уже о том, что наш уровень интеллекта ограничивается такими гротескными факторами, как ширина родового канала. Вообразите, что разработчик ИИ остановил исследования только потому, что не сумел настроить размер шрифта на своем компьютере!

Здесь налицо любопытная симметрия: формируя людей, эволюция создавала систему, которая во многих важных отношениях оказалась более талантливым планировщиком и оптимизатором, чем она сама. Мы – первый вид, осознавший, что наше появление есть следствие эволюции. Кроме того, мы создали множество артефактов (радио, огнестрельное оружие, космические корабли), создать которые эволюция вряд ли способна. Поэтому наше будущее будет определяться нашими собственными решениями, а не биологической эволюцией. В этом смысле эволюция пала жертвой своей персональной «проблемы контроля».

Можно лишь уповать на то, что здесь мы окажемся умнее эволюции. Да, мы точно умнее, но будет ли этого достаточно? Давайте попробуем выяснить.

Итак, вот и мы – через полвека с лишним после первых предупреждений Тьюринга, Винера и Гуда, через десятилетие после того, как люди вроде меня стали обращать внимание на послание об угрозах ИИ. Приятно видеть, что мы добились значительного прогресса, но понятно, что конечная цель далеко не достигнута. Риски ИИ перестали считаться табуированной темой, однако не полностью осознаются исследователями искусственного интеллекта – что уж говорить об обществе как таковом. Если проводить параллели с первым диссидентским посланием, я бы сказал, что мы находимся приблизительно в 1988 году, когда рассуждения о советской оккупации уже не грозили репрессиями, но когда все равно приходилось несколько смягчать свою позицию. Сегодня довольно часто я слышу заявления наподобие следующего: «Меня не беспокоит сверхразумный ИИ, но безусловно имеются некоторые подлинные этические проблемы в повальной автоматизации»; или «Хорошо, что некоторые люди изучают риски создания ИИ, но это дело далекого будущего»; и даже очень как будто разумные утверждения: «Это маловероятные сценарии, хотя их потенциально серьезные последствия оправдывают повышенное внимание».

Что касается распространения посланий, то мы приближаемся к переломному моменту. Недавний опрос исследователей ИИ, участников двух крупных международных конференций по ИИ в 2015 году, показал, что 40 процентов из них считают риски деятельности высокоразвитого ИИ либо «важной проблемой», либо «одной из важнейших проблем в этой области».

Конечно, были коммунисты-догматики, категорически не желавшие менять свою точку зрения, и сегодня почти гарантированно найдутся люди, которые никогда не согласятся с тем, что ИИ может быть опасен. Многие упомянутые коммунисты принадлежали к советской номенклатуре; многие «отрицатели» рисков ИИ руководствуются финансовыми и иными прагматическими соображениями. Чаще всего мотивом выступает корпоративная прибыль. ИИ – чрезвычайно прибыльное направление исследований и разработок; даже в тех случаях, когда это не так, вы демонстрируете приверженность моде и умение держать нос по ветру, что полезно для компании. Поэтому многие пренебрежительные отзывы диктуются корпоративным пиаром и юридическими контрактами. В определенном смысле большие корпорации суть нечеловеческие машины, преследующие собственные интересы, и их интересы могут не совпадать с интересами любого сотрудника такой корпорации. Как замечал Винер в «Человеческом применении человеческих существ»: «Когда человеческие атомы сплачиваются в организацию, в которой они используются не в соответствии со своим назначением, как разумные человеческие существа, а подобно зубцам, рычагам и стержням, не имеет большого значения то обстоятельство, что их «сырьем» послужили плоть и кровь».

Другим сильным стимулом закрывать глаза на риски ИИ оказывается человеческое (слишком человеческое) любопытство, которое не ведает границ. «Когда вы видите что-то технически полезное, то идете вперед и делаете, а с последствиями разбираетесь, только когда добились технического успеха. Так было с атомной бомбой», – сказал когда-то Дж. Роберт Оппенгеймер. Его слова недавно повторил Джеффри Хинтон, которого считают основоположником глубинного обучения; он говорил о рисках ИИ: «Я мог бы привести обычные доводы, но правда в том, что перспектива открытий манит неудержимо».

Безусловно, предпринимательским устремлениям и научной любознательности следует воздать должное за многое из того, что кажется нам сегодня само собой разумеющимся. Но важно понимать, что прогресс вовсе не обязательно сулит исключительно благо. Цитируя Винера: «Можно верить в прогресс как факт, не веря в него как в этический принцип».

В конечном счете мы не можем позволить себе роскошь ждать, пока все руководители корпораций и исследователи ИИ согласятся признать риски ИИ. Вообразите, что вы сидите в самолете, который готовится к взлету. Внезапно объявляют, что, по мнению 40 процентов экспертов, на борту заложена бомба. В этот момент ход действий очевиден, и дожидаться мнения оставшихся 60 процентов экспертов никто не будет.

Будучи, как ни странно, предсказуемыми, предупреждения первых ИИ-диссидентов о рисках искусственного интеллекта обладали существенным недостатком – как и версия, ныне доминирующая в публичном дискурсе: налицо серьезная недооценка масштабов проблемы и потенциала ИИ. Иными словами, послание неадекватно извещает о том, каковы ставки в игре.

Винер предостерегал в первую очередь насчет социальных рисков: вследствие чрезмерно поспешной интеграции машинных решений с процессами управления и неправильного использования (людьми) таких автоматических решений. Аналогичным образом, нынешние «серьезные» дебаты о рисках ИИ ведутся главным образом вокруг таких вопросов, как технологическая безработица или побочные эффекты машинного обучения. Хотя подобные дискуссии могут приносить пользу и затрагивают насущные краткосрочные проблемы, они потрясающе узки по охвату. Вспоминается шутка из блога Юдковски: «Рассуждать о влиянии суперинтеллекта на обычный человеческий рынок труда – все равно что спрашивать, как пострадают американо-китайские торговые отношения от падения Луны на Землю. Последствия, разумеется, будут, но суть-то не в них».

На мой взгляд, главное в рисках ИИ то, что сверхразумный ИИ несет угрозу всей окружающей среде. Позвольте объяснить.

В своей притче о мыслящей луже Дуглас Адамс описывает лужу, которая просыпается поутру в яме и сознает, что ей хорошо и удобно. На основании этого наблюдения лужа приходит к выводу, что весь мир создан именно для нее. Поэтому, говорит Адамс, «миг исчезновения, скорее всего, застает лужу врасплох». Предполагать, будто риски ИИ ограничиваются неблагоприятными социальными изменениями, значит допускать аналогичную ошибку. Суровая реальность заключается в том, что Вселенная не создавалась конкретно под нас; эволюция установила человечеству крайне узкий диапазон параметров окружающей среды. Например, нам нужно, чтобы атмосфера на уровне поверхности имела приблизительно комнатную температуру при давлении около 100 кПа и достаточной концентрации кислорода. Любое нарушение, даже временное, этого неустойчивого равновесия, грозит нам гибелью в считаные минуты.

Интеллект на основе кремния не разделяет наших опасений по поводу окружающей среды. Вот почему гораздо дешевле исследовать космос, используя автоматические зонды, а не «банки с консервированным мясом» (пилотируемые космические корабли). Более того, нынешняя окружающая среда Земли почти наверняка не оптимальна с точки зрения сверхразумного ИИ, озабоченного эффективностью вычислений. Следовательно, отнюдь не исключено, что мы вдруг обнаружим, что наша планета перешла от антропогенного глобального потепления к механогенному глобальному охлаждению. Одна из важных проблем в исследованиях безопасности ИИ – это поиск способов «обуздать» потенциально сверхинтеллектуальный искусственный интеллект, наделенный обилием возможностей по сравнению с нами, и помешать ему сделать окружающую среду непригодной для обитания биологических форм жизни.

К слову, с учетом того, что наиболее активные исследования в области ИИ и наиболее выраженное стремление отмахнуться от рисков ИИ наблюдаются под корпоративными «зонтиками», послание, гласящее, что ИИ несет угрозу для окружающей среды, может показаться еще одним вариантом хронической обеспокоенности общества по поводу пренебрежения корпораций своими экологическими обязанностями.

Вдобавок фокус на социальных последствиях появления ИИ заставляет упускать из вида бо́льшую часть положительных эффектов от внедрения искусственного интеллекта. Будущее нашей планеты видится невообразимо ничтожным, уж простите, если сопоставлять его с реализацией творческого потенциала человечества. В астрономических временны́х рамках наша планета скоро исчезнет (если мы не укротим Солнце, что вполне возможно), а почти все ресурсы – атомы и свободная энергия – для поддержания цивилизации в долгосрочной перспективе находятся в глубоком космосе.

Эрик Дрекслер, изобретатель нанотехнологий, стал недавно популяризировать концепцию «паретотопии»: мол, искусственный интеллект, если все будет сделано правильно, обеспечит будущее, в котором жизнь каждого человека значительно улучшится, то есть будущее, где отсутствуют проигравшие. Ключевая особенность такого ви́дения состоит в том, что главным препятствием для реализации человечеством своего потенциала может оказаться инстинктивная уверенность, будто мы играем в игру с нулевой суммой – когда участники получают небольшие выигрыши за счет других. Подобная уверенность порочна и гибельна для «игры», где все поставлено на карту, а выигрыш в буквальном смысле астрономический. В одной нашей Галактике звездных систем гораздо больше, чем людей на Земле.

На момент написания этих строк я испытываю сдержанный оптимизм и верю, что послание об угрозе ИИ может спасти человечество от вымирания, как послание о советской оккупации привело к освобождению сотен миллионов людей. По состоянию на 2015 год это послание переубедило 40 процентов исследователей ИИ. Меня не удивит, если новый опрос покажет, что ныне большинство исследователей ИИ считают риски искусственного интеллекта важнейшей проблемой.

Приятно видеть первые технические документы по безопасности ИИ, плод деятельности DeepMind, OpenAI и Google Brain, а также наблюдать сотрудничество исследовательских групп, представляющих организации, увлеченно конкурирующие между собой.

Политическая и бизнес-элита мира тоже медленно просыпается: риски ИИ освещаются в докладах и презентациях Института инженеров по электротехнике и радиоэлектронике (IEEE), Всемирного экономического форума и Организации экономического сотрудничества и развития (ОЭСР). Даже в недавнем (июль 2017 г.) китайском манифесте об ИИ имеется специальный раздел «Надзор за безопасностью ИИ» и «Разработка законов, правил и этических норм», а также предусматривается создание «системы безопасности и оценки ИИ», в том числе «повышение осведомленности о рисках». Надеюсь, что новое поколение лидеров, осознающих «проблему контроля» ИИ и воспринимающих искусственный интеллект как экологическую угрозу, смогут отказаться от привычных «племенных» игр с нулевой суммой и направить человечество прочь из опасных вод, где мы ныне находимся, вверх, к звездам, ждущим нас вот уже миллиарды лет.

Вперед, к следующей сотне тысяч лет! И не стесняйтесь говорить правду, даже если ваш голос дрожит.