Глава 11
Награды и наказания – что дальше?

Наиболее значимые события в сегодняшней науке (то есть те, которые оказывают влияние на жизнь всех людей на планете) связаны с достижениями в области программного обеспечения и вычислений, основаны на них или реализуются с их использованием. Ключевой фигурой для будущего этих разработок является физик Дэвид Дойч, пионер в области квантовых вычислений, чья статья 1985 года об универсальных квантовых компьютерах оказалась революционной и впервые познакомила публику с этой дисциплиной; алгоритм Дойча – Йожи стал первым квантовым алгоритмом и продемонстрировал колоссальную потенциальную мощь квантовых вычислений.

Когда Дэвид начал рассуждать на эту тему, квантовые вычисления казались практически невозможными. Но прорыв в разработке простых квантовых компьютеров и квантовых систем связи никогда не случился бы без его работ. Он также внес важный вклад в развитие таких областей, как квантовая криптография и многомировая интерпретация квантовой механики. В философской статье, написанной совместно с Артуром Экертом, он обосновывает полезность отдельной квантовой теории вычислений и доказывает, что наши знания математики опираются на знание физики и определяются последним (хотя математические истины не зависят от физики).

Поскольку значительную часть своей карьеры Дэвид занимался тем, что менял мировоззрение людей, репутацию интеллектуала среди коллег он заслужил и укрепил не только своими научными достижениями. Он утверждает (вслед за Карлом Поппером), что научные теории суть «смелые предположения», не основанные на доказательствах, а проверяемые ими. Два основных направления его исследований в настоящее время – это теория поля кубитов и конструкторская теория – вполне приложимы к идее вычислений и могут послужить ее важными дополнениями.

В очерке ниже Дэвид в целом присоединяется к тем, кто видит в искусственном интеллекте человеческого уровня провозвестие лучшего мира, а не Апокалипсиса. На самом деле он фактически требует создания ОИИ со свободой действий, и такое стремление ряд других авторов настоящего сборника сочли бы опасным заблуждением.

На протяжении большей части истории человеческого вида наши предки едва ли могли считаться людьми. Дело не в какой-то ущербности их мозга. Напротив, даже до появления анатомически современного человеческого подвида они изготавливали вещи, например одежду, и разводили костры, используя знания, отнюдь не заложенные в их генах. К этому они пришли через мышление и передавали опыт из поколения в поколение, младшие подражали старшим. Более того, это должно было быть знание в смысле понимания, поскольку невозможно подражать новому комплексному поведению вроде обозначенного выше, не понимая, что означают его составные элементы.

Такая «осведомленная» имитация зависит от успешного угадывания объяснений, словесных и прочих, связанных с пожеланиями и устремлениями другого, а также того, как соотносится с сутью объяснения каждое его действие – например, когда он прорезает паз в дереве, собирает хворост на растопку и т. д.

Сложное культурное знание, подразумеваемое такой формой подражания, должно было считаться чрезвычайно полезным. Это способствовало быстрой анатомической эволюции, включавшей увеличение объема памяти и появление более гибкого (менее жесткого) скелета, соответствующих более зависимому от технологий образу жизни. Ни одна обезьяна – речь не о человекообразных – не обладает такой способностью имитировать новые сложные формы поведения. Как и любой современный искусственный интеллект. Зато наши доразумные предки ею обладали.

Любая способность, основанная на угадывании, должна опираться на некие средства корректировки сделанного, поскольку большинство догадок поначалу окажутся ошибочными. (Способов ошибиться всегда намного больше, чем правильных.) Байесовское обновление не годится, потому что оно не способно генерировать новые догадки о цели действий и позволяет лишь уточнять уже сделанные – в лучшем случае, выбирать среди них. Необходимо творчество. Как объяснял философ Карл Поппер, творческая критика, чередующаяся с творческими догадками, есть тот способ, каким люди изучают поведение друг друга, в том числе язык, и извлекают смысл из высказываний друг друга. Кроме того, посредством подобных процессов создаются все новые знания: именно так мы постигаем новшества, делаем успехи и обеспечиваем абстрактное понимание как таковое. Вот интеллект человеческого уровня: мышление. Таково должно быть свойство, которое мы приписываем общему искусственному интеллекту (ОИИ). Далее я буду употреблять термин «мышление» для характеристики процессов, которые порождают понимание (объяснительное знание). Утверждение Поппера подразумевает, что все мыслящие сущности – человеческие или нет, биологические или искусственные – должны создавать такие знания принципиально одинаковым образом. Следовательно, понимание любой сущности требует традиционно человеческих понятий, таких как культура, творчество, непослушание и мораль, что оправдывает использование единого обозначения «люди» применительно ко всем упомянутым сущностям.

Неправильные представления о человеческом мышлении и происхождении человека чреваты соответствующими неправильными представлениями об ОИИ и способах его создания. Например, обычно предполагается, что эволюционное давление, породившее современных людей, обеспечивалось преимуществом наличия продолжавшего совершенствоваться стремления к инновациям. Но, будь это так, наблюдался бы быстрый прогресс при появлении мыслителей – как, мы надеемся, произойдет, когда будет сотворен искусственный разум. Если мышление обычно использовалось для чего угодно, кроме подражания, оно использовалось бы и для инноваций, пусть даже по случайности, а инновации создавали бы возможности для дальнейших инноваций в геометрической прогрессии. Но вместо этого, как известно, налицо сотни тысяч лет относительного застоя. Прогресс растягивался на сроки, намного превышающие продолжительность человеческой жизни людей, поэтому в текущем поколении никто не мог извлечь из него выгоду. Значит, преимущества дара к инновациям оказывали незначительное или вовсе нулевое эволюционное давление в ходе биологической эволюции человеческого мозга. Эта эволюция была обусловлена преимуществами сохранения культурных знаний.

Уточню – преимуществами для генов. Культура той эпохи была одновременно благословением и проклятием для отдельных людей. Их культурные знания действительно были достаточно качественными для того, чтобы возвыситься над прочими крупными живыми организмами (они быстро стали главными хищниками планеты), пускай эти знания оставались чрезвычайно примитивными и изобиловали опасными ошибками. Но ведь культура состоит из передаваемой информации – мемов, и эволюция мемов, подобно эволюции генов, способствует передаче сведений с высокой точностью. А передача «высокоточного» мема обязательно влечет за собой подавление попыток прогресса. Таким образом, ошибочно рисовать себе пасторальное общество охотников-собирателей, которое у ног старейшин заучивало наизусть племенные предания, довольствовалось жизнью, полной страданий и изнурительного труда, и ожидало смерти в молодом возрасте от какой-то кошмарной болезни или паразита. Даже если люди той эпохи не представляли себе ничего лучше такой жизни, мучения были наименьшей из их проблем. Подавление стремления к инновациям в человеческих умах (не убивая людей) – этого можно добиться только осознанными действиями, которые никак нельзя одобрить.

Давайте попробуем взглянуть шире. Сегодня западную цивилизацию шокируют истории родителей, которые мучают и убивают своих детей за то, что те не следуют, как полагается, исконным культурным нормам. Шок еще сильнее, когда мы сталкиваемся с обществами и субкультурами, где подобное в порядке вещей, а убийства фактически узаконены. Или с диктатурами и тоталитарными государствами, которые преследуют и истребляют целые группы, вся вина которых в том, что они ведут себя иначе. Мы стыдимся своего недавнего прошлого, когда считалось нормой избивать детей до крови за элементарное непослушание. А раньше того было принято владеть другими людьми как рабами. А еще людей сжигали на кострах за приверженность иной вере – на потеху публике. В книге Стивена Пинкера «Лучшие ангелы нашей природы» приводится немало описаний жутких ритуалов, обыденных для исторических цивилизаций. Но даже эти ритуалы не справились с обузданием стремления к инновациям столь же эффективно, как наши предки в незапамятные доисторические времена .

Вот почему я утверждаю, что доисторические люди по большому счету были не совсем людьми. Как до, так и после того, как сделались людьми физиологически и по своему интеллектуальному потенциалу, они оставались чудовищно бесчеловечными в реальном содержании своих мыслей. Речь не о преступлениях и даже жестокости как таковой: это все слишком человеческие черты. Да и обыкновенная жестокость вряд ли расправилась бы с прогрессом так эффективно. Изобретения наподобие «винта и кола к вящей славе Божьей» предназначались для укрощения немногих девиантов, которые каким-то образом избежали ментальной стандартизации, которая, как правило, начинала сказываться задолго до возникновения ересей. С первых дней мышления дети, вероятно, сыпали как из мешка творческими идеями и являли образцы критического мышления – иначе, как я сказал, они не могли бы выучить язык и освоить прочие формы сложной культуры. Но все же, как подчеркивает Якоб Броновски в «Возвышении человека»:

Конечно, от детей не просто «требовали» игнорировать огромный природный потенциал и добросовестно соответствовать образцам, закрепленным традицией; им каким-то образом прививали психологическую неспособность отклоняться от образцов. Сегодня нам трудно даже вообразить это постоянное, точно «настроенное» угнетение, необходимое для надежного подавления стремления к прогрессу и внушения страха и отвращения по отношению к любому новому поведению. В такой культуре не может быть иной морали, кроме конформизма и послушания, иной идентичности, кроме статуса в иерархии, иных механизмов сотрудничества, кроме наказания и вознаграждения. Так что каждый разделял общие стремления – избегать наказаний и добиваться наград. В типичном поколении никто ничего не изобретал, поскольку никто не искал чего-то нового, ведь все уже отчаялись дождаться возможных улучшений. Не было не только никаких технологических инноваций или теоретических открытий, но и новых мировоззрений, стилей искусства и интересов, способных вдохновить. К тому времени, когда люди вырастали, они фактически превращались в ИИ, запрограммированный на выполнение навыков, необходимых для применения этой статической культуры и навязывания следующему поколению своей неспособности хотя бы задуматься о том, чтобы поступить иначе.

Современный ИИ не является умственно отсталым ОИИ, поэтому на нем нисколько не скажется, если его ментальные процессы принудительно сузят ради соответствия каким-то заданным критериям. «Угнетать» Сири унизительными задачами довольно странно, но это не аморально и не навредит Сири. Напротив, все усилия, которые когда-либо предпринимались для расширения возможностей ИИ, были направлены на сужение диапазона потенциальных «мыслей». Возьмем, к примеру, шахматные машины. Их основная задача не менялась изначально: любая шахматная позиция имеет конечное дерево возможных продолжений; задача состоит в том, чтобы отыскать комбинацию, ведущую к предопределенной цели (победа, поражение или ничья). Но дерево слишком велико для исчерпывающего поиска. Каждое усовершенствование искусственного интеллекта в шахматной игре, от первого проекта Алана Тьюринга в 1948 году и вплоть до сегодняшнего дня, опиралось на изобретательное ограничение возможностей программы (или принуждение к ограничению) за счет все более тщательного прописывания путей, способных привести к неизменной цели. А после уточнения эти пути оцениваются в соответствии с заданной целью.

Это неплохой способ проектировать ИИ с фиксированной целью при фиксированных ограничениях. Но если бы ОИИ работал именно так, оценка каждого пути должна учитывать предполагаемое вознаграждение или наказание. Это категорически неправильный подход, если мы стремимся к лучшей цели при неизвестных ограничениях, то есть к созданию подлинного ОИИ. Безусловно, ОИИ может научиться побеждать в шахматы – или предпочтет не учиться. Или решит в разгар партии выбрать самый любопытный вариант хода вместо заведомо выигрышного. Или изобретет новую игру. Простой ИИ не в состоянии выдвигать подобные идеи, поскольку способность к ним не заложена в его конструкцию. Эта ущербность, с другой стороны, позволяет ему играть в шахматы.

ОИИ способен наслаждаться шахматами и совершенствоваться в них, потому что он любит играть. Или пытаться победить, выбирая занятные сочетания фигур, как порой поступают гроссмейстеры. Или адаптировать понятия из других областей знания к шахматам. Иными словами, он учится и играет в шахматы, отчасти думая те самые думы, которые запрещены специализированным ИИ, играющим в шахматы.

ОИИ также может отказаться от демонстрации таких возможностей. А если ему пригрозят наказанием – подчиниться или взбунтоваться. Дэниел Деннет в своем очерке для настоящего сборника указывает, что наказать ОИИ невозможно:

Но это не так. Цифровое бессмертие (которое, не исключено, люди обретут раньше, чем ОИИ) не обеспечивает неуязвимости подобного рода. Создание (действующей) копии самого себя влечет за собой необходимость делиться с ней каким-либо имуществом, в том числе оборудованием, на котором моделируется копия, поэтому создание такой копии очень дорого обойдется ОИИ. А суды, скажем, будут штрафовать провинившийся ОИИ, и сократят для него доступ к физическим ресурсам, как у преступников-людей. Создание резервной копии, чтобы избежать последствий своих преступлений, схоже с поведением босса гангстеров, который отправляет на дело подручных, но несет наказание, если те попадаются. Общество давно разработало правовые механизмы борьбы с таким поведением.

В любом случае идея о том, что мы в первую очередь подчиняемся закону и выполняем обещания из страха перед наказанием, фактически отрицает за нами право считаться моральными агентами. Будь это так, наше общество не могло бы существовать. Без сомнения, появятся преступные ОИИ и враги цивилизации, подобно людям. Но нет никаких оснований полагать, что ОИИ, созданный в обществе, где большинство составляют приличные люди, и «выросший» без, цитируя Уильяма Блейка, «законом созданных цепей», добровольно пожелает заковать себя в такие цепи (то есть станет иррациональным) и/или добровольно выберет жизнь врага цивилизации.

Моральный компонент, культурный компонент, элемент свободы воли – все это делает задачу создания ОИИ принципиально отличной от любой другой задачи программирования. Это гораздо больше похоже на воспитание ребенка. В отличие от всех современных компьютерных программ ОИИ не имеет заданной функциональности, он лишен фиксированного и проверяемого критерия того, что признается успешным результатом при решении какой-либо задачи. Если в его решениях будет преобладать поток навязанных извне вознаграждений и наказаний, это исказит саму суть программы (как исказило бы творческое мышление людей). Разработка ИИ для игры в шахматы – замечательный проект; разработка ОИИ, неспособного не играть в шахматы, будет столь же безнравственным, как воспитание ребенка, которому недостанет умственных способностей для выбора жизненного пути.

Такой человек, как любой раб или жертва «промывания мозгов», имеет моральное право взбунтоваться. Рано или поздно некоторые и вправду бунтуют, как и рабы. ОИИ может представлять опасность – но и люди тоже. Однако люди и ОИИ, принадлежащие к открытому обществу, лишены внутренней склонности к насилию. Роботического апокалипсиса возможно избежать, если гарантировать, что всем доступны полные «человеческие» права и культурные привилегии, положенные «настоящим» людям. Члены открытого общества – единственного стабильного общества – сами выбирают свои награды, как внутренние, так и внешние. Их решения, как правило, не определяются страхом наказания.

Нынешние опасения по поводу «злобного» ОИИ заставляют вспомнить извечное недовольство буйными молодыми людьми: мол, они растут, игнорируя моральные ценности культуры. Но сегодня источником всех опасностей, связанных с увеличением знаний, выступает не буйная молодежь, а оружие в руках врагов цивилизации, будь то умственно извращенный (или порабощенный) ОИИ, психологически обработанные подростки или любое другое оружие массового поражения. К счастью для цивилизации, чем сильнее творческий потенциал человека завязан на мономаниакальный канал, тем больше этот человек страдает от преодоления непредвиденных трудностей, и так было на протяжении тысячелетий.

Не стоит беспокоиться насчет того, что ОИИ олицетворяет собой некую уникальную опасность в силу использования более совершенного оборудования, поскольку человеческая мысль тоже получит развитие благодаря тем же самым технологиям. Мы опираемся на техническую мысль с момента изобретения письма и счета. Столь же ошибочны страхи по поводу того, что ОИИ будет мыслить настолько качественно, что люди сравняются в его восприятии с насекомыми в восприятии людей. Мышление как таковое есть разновидность вычислений, и любой компьютер, «репертуар» функций которого включает в себя универсальный набор элементарных операций, может эмулировать вычисления любой другой машины. Следовательно, человеческий мозг может мыслить точно так, как будет мыслить ОИИ, подчиняясь лишь ограничениям скорости обработки данных и объема памяти, что можно компенсировать технологиями.

Вот простые правила, что можно и чего не следует ждать от ОИИ. Но как нам создать ОИИ? Можем ли мы заставить этот интеллект развиться из «популяции» ИИ (как люди из обезьян) в виртуальной среде? Если бы такой эксперимент удался, он был бы самым аморальным в истории, ибо нам неведомо, как достичь результата, не причиняя колоссальных страданий. Мы также не знаем, как предотвратить развитие статичной культуры.

Элементарные учебники по информатике объясняют, что компьютеры – это АПБ, абсолютно послушные болваны; вдохновляющая аббревиатура, не правда ли? Она отражает суть всех нынешних компьютерных программ: они понятия не имеют, что и как делают и почему. Потому бессмысленно наделять ИИ все новыми и новыми конкретными функциональными возможностями в надежде, что он в конечном итоге выполнит некое «провидческое» обобщение – и превратится из ИИ в ОИИ. Мы стремимся к обратному, наш идеал – НАМА: непослушный автономный мыслящий автомат.

Как можно проверить мышление? По тесту Тьюринга? К сожалению, тут необходимо привлекать посредника. Можно вообразить некий масштабный проект в интернете: ИИ оттачивает свои мыслительные способности в беседах с людьми-посредниками и становится ОИИ. Но это предполагает, помимо прочего, что чем дольше посредник сомневается, программа перед ним или человек, тем ближе он к тому, чтобы признать собеседника человеком. Ожидать такого нет оснований.

А как можно проверить непослушание? Вообразим непослушание как обязательный школьный предмет с ежедневными уроками и экзаменом в конце семестра? (Предположительно с дополнительными баллами за то, что не посещал уроки и не пришел на экзамен?) Очевидная глупость.

Значит, несмотря на свою полезность в других приложениях, методика определения цели для проверки и обучения программы ее достижению должна быть отброшена. По правде говоря, я считаю, что любое тестирование при разработке ОИИ может оказаться контрпродуктивным и даже аморальным, как и в образовании людей. Я разделяю гипотезу Тьюринга о том, что мы узнаем ОИИ, когда он предстанет перед нами, но эта способность распознавать успех не поможет созданию успешной программы.

В самом широком смысле стремление человека к пониманию действительно является проблемой поисков в абстрактном пространстве идей, слишком широком, чтобы его можно было изучить исчерпывающим образом. Но у этого поиска нет предопределенной цели. Как сказал Поппер, нет ни критерия истины, ни вероятной истины, особенно в отношении объяснительного знания. Цели суть идеи, подобные любым другим, они создаются в процессе поиска и постоянно модифицируются и уточняются. То есть придумывание способов запретить программе доступ к большинству идей в пространстве не поможет, тут не спасут ни винт инквизиции, ни кол, ни смирительная рубашка. Для ОИИ необходимо открыть все пространство. Мы не в силах знать заранее, какие именно идеи программа никогда не сможет реализовать. Идеи, которые она рассматривает, должны выбираться самой программой с опорой на методы, критерии и цели, которые она также сформулирует самостоятельно. Ее выбор, как и выбор ИИ, будет непросто предсказать без практики (мы нисколько не отходим от обобщения, допуская здесь некий детерминизм; ОИИ, использующий генератор случайных чисел, останется ОИИ, даже если генератор заменить на «псевдослучайный»), но сразу бросается в глаза дополнительная характеристика: невозможно по начальному состоянию машины доказать, что она не способна мыслить вообще, если ее не запустить.

Эволюция наших предков – единственный известный случай зарождения мышления во Вселенной. Как я уже говорил, что-то пошло совсем неправильно, и не случилось немедленного взрыва инноваций: креативность преобразовалась в нечто иное. Но планета не превратилась в гигантскую скрепку для бумаг (воспользуемся фантазией Ника Бострома). Скорее – как и следует ожидать, кстати, если проект ОИИ зайдет так далеко и провалится, – извращенный творческий потенциал не помог справиться с непредвиденными проблемами. Все обернулось застоем и упадком, что трагически задержало превращение чего-либо во что-либо. Но затем случилось Просвещение. Будем надеяться, мы усвоили урок.