Суперкомпьюер Тянхэ-14, установленный на глубоких подземных уровнях Национального суперкомпьютерного центра в Гуанчжоу, Китай, на протяжении уже ровно тридцати семи дней тестировал последнюю версию Эмулятора человеческого мозга. На протяжении всего времени требования к обработке запросов оставались стабильными. Идеально стабильными. Равно как и количество потребляемой энергии. Однако комплексная оценка когнитивных способностей, проверявшая результаты работы алгоритмов глубинного обучения, показала, что результаты в многочисленных аналитических модулях далеки от оптимальных.

Внезапно и без каких-либо предупреждений уровень энергопотребления системы резко подскочил. Освещение в исследовательском комплексе замигало и стало тусклым. Резервные генераторы работали на полную мощность, пытаясь компенсировать неожиданное превышение нагрузки. Через несколько минут всеобщего замешательства дежурные научные сотрудники решили запустить стандартную процедуру отключения системы. Огромные настенные мониторы показывают стадии последовательного отключения, а другие системы показывают, что нагрузка на энергосистему растет. Освещение тускнеет. Выполняется ли процедура отключения или нет? Что происходит?

По защищенной правительственной сотовой сети начинают приходить отчеты со смартфонов персонала. Только что из-за ультравысокочастотного трейдинга произошел грандиозный обвал шанхайской, шэньчжэньской и гонконгской фондовых бирж. Системы повсеместно выходят из строя, и разведка докладывает, что дело не ограничивается национальными масштабами. Всемирная катастрофа.

Во комплексе становится еще темнее, огромный суперкомпьютер ищет любой доступный источник энергии. Ученые понимают, что сбывается их худший ночной кошмар, – они своими глазами наблюдают взрыв разума. Суперкомпьютер все быстрее самосовершенствуется, изменяет собственные встроенные программы и переписывает свой код, становясь умнее любого человека. Умнее любого человека в стране. Умнее любого человека на планете. И никто не может его остановить.

Огромный, тщательно охраняемый исследовательский комплекс погрузился во мрак.

Насколько мощными могут стать компьютеры? Возможно ли, что они в конечном итоге превзойдут нас и достигнут уровня сверхразума? Может ли у них появиться настоящее сознание? Это крайне важные вопросы, и ответить на них так же сложно, как и на вопрос о том, могут ли компьютеры испытывать эмоции. Так получилось, что эти два вопроса могут быть взаимосвязаны.

Недавно несколько знаменитых ученых и бизнесменов высказали свои взгляды на проблему потенциального появления неуправляемого искусственного интеллекта и сверхразумных машин. Физик Стивен Хокинг, инженер и изобретатель Илон Маек и философ Ник Востром поделились мнением о том, что может произойти, если мы сблизимся с компьютерами, способными мыслить и рассуждать на человеческом уровне, а возможно, и лучше людей.

Позитронные роботы Азимова оспорили право людей считаться главными мыслящими существами во вселенной.

В то же время некоторые специалисты в области информатики, психологи и другие ученые заявили, что многочисленные трудности, с которыми мы сталкиваемся при создании мыслящих машин, показывают, что поводов для беспокойства немного. Точнее, многие разработчики искусственного интеллекта считают, что сознание вряд ли возникнет на основе компьютерных программ, ни случайно, ни намеренно. Таким образом, говорят они, нам незачем бояться сценария «Терминатора» с корпорацией «Скайнет», сингулярности или апокалипсиса, устроенного роботами².

Спонтанное возникновение сознания у машин, которые будут становиться все более разумными, может быть спорным или невозможным, однако это не отменяет любых серьезных угроз. С учетом этого лучше обдумать проблему как следует.

Несомненно, один из самых важных вопросов, связанных с искусственным интеллектом, – может ли машина когда-нибудь обрести настоящее сознание. Как уже говорилось, точно так же, как в случае с эмоциями, существует столько же теорий о сознании, сколько и авторов этих теорий, и ведется столько же дискуссий о его способности к воспроизведению. Поскольку этой главы все равно не хватит, чтобы рассмотреть их все, рассмотрим хотя бы некоторые.

Во-первых, что мы имеем в виду, когда говорим «сознание». Это понятие рассматривалось и обсуждалось на протяжении веков. Присущая слову «сознание» неясность сама по себе мало помогла прояснить ситуацию. В зависимости от того, кого вы читаете или спрашиваете, сознание можно разделить на два, пять или даже восемь различных типов. (Возможно, если искать достаточно долго, можно найти и классификации с любым другим количеством типов.) Исходя из некоторых наиболее кратких и точных определений сознания², я нахожу целесообразным применить к машинному интеллекту и сознанию концепции сознания-доступа и феноменального создания, которые предложил профессор философии Нью-Йоркского университета Нед Блок:

К этим двум определениям я добавлю третью разновидность или группу разновидностей сознания: интроспективное сознание – результат постоянного взаимодействия между сознанием-доступом и феноменальным сознанием:

Иногда считается, что сознание-доступ, или по крайней мере его подтипы, легче всего объяснить, поскольку существует надежда в конечном итоге понять его механизмы. Способность получать доступ к информации в нашем сознании, например языку и памяти, и сообщать о ней считается абсолютно человеческой особенностью, хотя Блок считает, что сознанием-доступом обладают шимпанзе и некоторые «намного низшие животные».

Во многих отношениях не существует разумных структурных или функциональных аргументов, почему машины не смогут достичь этой разновидности сознания, по крайней мере ее базовой формы. Электронные системы способны определять состояние своего внутреннего функционирования и сообщать о нем, независимо от того, проявляют ли они другие признаки разума. То же самое они могут делать и с архивной информацией, получая доступ к памяти прошлого. Пока что это объективная информация, все еще потенциально доступная другим. Однако можно предположить, что эта способность машин станет по мере дальнейшего прогресса более совершенной и детализированной. Со временем можно будет сравнить ее с субъективными функциональными возможностями сознания-доступа у людей, но, возможно, машины будут более совершенными. Кроме того, с развитием таких технологий, как сканирование мозга и расшифровка нейронных сигналов, когда мы узнаем больше секретов сознания-доступа, мы можем обнаружить, что оно не настолько субъективно, как мы считали.

Феноменальное сознание по ряду различных причин считается более сложной проблемой психологии и когнитивной науки. Природу и основу переживания ощущения – будь то красный цвет розы или переливы смеха, или запах океанских волн – сложно объяснить и доказать. Эксперт по когнитивным наукам и философ Дэвид Чалмерс называет это «трудной проблемой сознания», пытаясь объяснить, как и почему вообще возникло феноменальное сознание⁴. В зависимости от того, как вы понимаете свое ощущение, сложно даже определить, какому виду животных принадлежит это ощущение и до какой степени. И хотя это, может быть, немного нечестно, я скажу, что считаю его нейросенсорным явлением, которое можно пережить на промежуточной стадии предварительной обработки информации в мозге (возможно, в таламусе). Это позволит осознавать квалиа и явления как часть мозга до того, как они станут доступны другим, более абстрактным функциям интеллекта, включая в конечном итоге и сознание-доступ. Вероятно, давным-давно это дало некоторым видам животных эволюционное преимущество, позволив им лучше взаимодействовать с различными аспектами окружающей среды и выживать в ее условиях. Со временем это свойство развивалось и стало более сложным, в частности стало более открытым для развивающегося сознания-доступа и даже получило тесную связь с социальным взаимодействием и культурой. Это вовсе не означает, что эволюция сознания была хоть сколько-нибудь целенаправленной. Ее ничто не направляло. Я полагаю, что сознание, как аппендикс или эндокринная система, медленно развивалось на протяжении несчетного количества поколений, и наиболее ценными для популяции были особи, которым сознание помогало выживать в определенных природных условиях и справляться с трудностями.

По словам Блока, именно из-за отсутствия феноменального сознания мы обязаны «феноменальным зомби из научно-фантастических произведений и примеров философов – знакомые нам компьютеры и роботы, которые могут думать, но не могут чувствовать. Они обладают сознанием-доступом, но не феноменальным сознанием». Иными словами, сознание-доступ позволяет им рассуждать, но отсутствие феноменального сознания не позволяет им чувствовать.

С концепцией феноменального сознания связана проблема, известная под названием «проблема сознания другого». (Блок называет ее «еще более трудной проблемой сознания».) Это эпистемологическое понятие означает, что при имеющейся у нас возможности наблюдать поведение других мы никогда не сможем по-настоящему испытать, что они чувствуют, а потому никогда не сможем доказать, что сознанием обладает еще кто-то кроме нас самих. Притом что такой солипсизм проблематичен с философской точки зрения, справедливо будет отметить, что абсолютное большинство читателей этой книги подобным сознанием в той или иной степени обладают. В связи с этим возникают несколько интересных вопросов относительно будущего машинного разума. Если высказывания или действия искусственного интеллекта указывают на то, что он воспринимает мир именно в этом смысле, то как мы можем быть уверены в том, что это действительно так? И наоборот, даже если достаточно сложная система не сообщает о состояниях, которые соответствуют наличию феноменального сознания, можем ли мы быть уверены в том, что оно по определению не испытывает квалиа? Мы еще долго будем спорить, пытаясь разобраться в этой путанице, даже спустя долгое время после того, как у машин появится эта способность, если вообще появится.

В фильме, снятом под влиянием сказки о Пиноккио, деревянном человечке, который отчаянно хотел стать настоящим мальчиком, сформулированы основные вопросы развития эмоционального искусственного интеллекта у машин.

Наконец, мы подходим к тому, что я называю интроспективным сознанием. Его можно охарактеризовать как независимое свойство синтеза сознания-доступа и феноменального сознания. В известном смысле его можно рассматривать как разновидность каждого из них, но я не соглашусь, поскольку оно может возникнуть и при отсутствии каждого из этих первичных процессов, так что мы будем рассматривать их условно независимо друг от друга.

Многие люди, говоря о достижении роботом или искусственным интеллектом сознания, имеют в виду способность к самоанализу и рассуждению о собственных внутренних ментальных состояниях. Несмотря на то что для специалистов в области искусственного интеллекта это может представлять сложную проблему, для нас может быть относительно просто установить наличие феноменального сознания теми способами, которыми обычно проводится тестирование машин. Хотя систему можно «обмануть», в некоторые тесты на интеллект можно ввести элемент случайности и контролировать последствия, которые возникнут для искусственного интеллекта, а затем запросить у него отчет о собственном внутреннем состоянии в отношении этих условий⁵. Будет не так сложно распознать настоящую рефлексию и подтвердить по-настоящему субъективное состояние, подобное феноменальному сознанию.

Я считаю, все это действительно указывает нам, что нужно сделать, чтобы искусственный интеллект обрел интроспективное сознание. При этом некоторые животные демонстрируют определенную степень сознания-доступа и, по всей видимости, обладают феноменальным сознанием⁶. С учетом этого интроспективное сознание уже не кажется необязательной разновидностью сознания-доступа; самоотносимая природа интроспекции происходит из способности получать доступ к внутренним состояниям и размышлять о них. Если это действительно так, то как самосознание вообще может существовать без сознания-доступа?

Но можно ли обладать самосознанием при полном отсутствии феноменального сознания? Маловероятно. Как писал Блок, «допуская, что феноменальное сознание необходимо для наличия полноценного сознания-доступа, сознание-доступ не может существовать без феноменального сознания». Каким же образом можно реализовать интроспективное сознание, не имея средств глубинного познания мира, в том числе внутренних состояний? По такой логике для возникновения интроспективного сознания необходимы как феноменальное сознание, так и сознание-доступ.

В каком возрасте у человеческих детей появляется самосознание? На основании исследований поздних медленных волн, связанных с началом осознанного мышления, зачатки самосознания появляются у младенцев от пяти-шести месяцев. Зеркальные тесты, точнее «румяный тест», помогает исследователям определить точный возраст. При проведении «румяного теста» на нос ребенку наносят красную точку и показывают отражение в зеркале. Обычно дети в возрасте от полутора лет реагируют на точку, прикасаясь к собственному лицу. Это значит, что они узнают себя в зеркале. Этот временной интервал соответствует формированию и развитию связности веретеновидных нейронов, структур коры головного мозга, которые соединяют удаленные области мозга, особенно переднюю часть поясной извилины коры мозга и другие участки, тесно связанные с самосознанием. Формирование веретенообразных нейронов начинается в возрасте около четырех месяцев, а взаимосвязь между ними на должном уровне начинается примерно в возрасте полутора лет. Примерно к этому времени дети начинают осознавать себя, как показывает «румяный тест». Возможна ли такая реакция формирующегося разума при отсутствии сознания-доступа и феноменального сознания?

Психологи, философы и нейроученые, среди которых Майкл Газзанига и Джозеф ЛеДу, исследуют идею о том, что процессы разума относительно схожи друг с другом. Ученый и эксперт в области искусственного интеллекта Марвин Минский в книге «Общество разума» (The Society of Mind)выдвинул идею о том, что разум состоит из разного рода процессов. Вероятно, эти процессы (области мозга, участки коры) эволюционировали как отдельные органы и функции на протяжении миллионов лет. Теоретически многие из этих процессов в конечном итоге привели к способности наблюдать за аспектами различных состояний, переживать их в феноменальном сознании, а затем обеспечивать доступ к этим знаниям (сознание-доступ). Многократно обращаясь к самому себе, сознание сформировало разные степени самосознания, самоконтроля и самоанализа.

Многие люди считают сознание загадочным, относительно уникальным состоянием. Но если рассматривать его как экосистему взаимосвязанных процессов, так ли сложно представить, что однажды появятся машины, обладающие сознанием? Такие машины не будут в точности копировать людей, возможно, они даже не будут на нас похожи. Но в соответствии с этими стандартами у них будет сознание.

Стоит принять во внимание, что даже человеческий разум и сознание не везде одинаковы. Несмотря на то что мы считаем всех или абсолютное большинство людей обладающими самосознанием, стоит принять во внимание, что самосознание, равно как и многочисленные аспекты интеллекта, эмоциональной грамотности и личности, может находиться в широком диапазоне форм. Например, данные ФМРТ показывают, что у обычных людей повышается активность вентромедиальной префронтальной коры мозга при прохождении тестов, проверяющих самосознание, а у людей с аутизмом такое повышение активности не отмечалось⁷. По результатам исследования «люди, у которых отмечались наибольшие различия в активности вентромедиальной префронтальной коры мозга при ментализации восприятия себя и других, испытывали меньше всего проблем с социализацией в раннем детстве, а те, в чьей активности вентромедиальной префронтальной коры отличий наблюдалось мало или не наблюдалось совсем, в раннем детстве испытывали трудности с социализацией». На основании этих данных можно предположить, что самосознание основано на способности моделировать ментальные состояния других. Это может иметь отношение к проблемам, с которыми сталкиваются аутисты при распознавании эмоций в выражениях лиц окружающих.

Эффективность этих повторяющихся процессов самонаблюдения у каждого отдельного человека может быть разной. Некоторые разновидности ментальной тренировки или медитации могут изменить уровень этой эффективности или усилить ее. С другой стороны, не стоит ставить телегу соответствий впереди лошади-причины, но у тех, кто больше других преуспел в медитации, может наблюдаться большая эффективность в этом спектре сознания.

Присматриваясь к феноменальному сознанию, стоит задать вопрос: что именно там происходит. Как именно реализуются квалиа? Если я фиксирую цвет, звук или запах, в организме активизируется последовательность химических и неврологических каскадов, точно так же, как это происходило у далеких предков современных людей. С эволюционной точки зрения эти каскады, возможно, развивались, а затем стали передаваться по наследству, потому что позволяли виду выжить. Эти гены унаследовали новые поколения, в том числе и мы с вами⁸. С развитием сетей химических соединений и нервных систем появились более сложные эндокринные системы, те самые системы, которые мы в какой-то степени считаем своими органами чувств. Достигнув того уровня сознания, который позволил нам распознавать и относить к своему опыту телесные ощущения, мы обрели способность осознавать эмоции. (По крайней мере, это моя интерпретация теории Уильяма Джеймса, если рассматривать ее, исходя из концепции Чарльза Дарвина.) И хотя эмоции не существенны для квалиа, они дают квалиа глубинные ощущения, которые не появились бы иначе, сначала на физическом уровне, потом на когнитивном. Это, в свою очередь, составляет основу теории разума и самосознания. Отсутствие (или, возможно, значительное подавление) феноменального сознания порождает феноменальных зомби, о которых говорил Блок.

На мой взгляд, квалиа, а следовательно, и феноменальное сознание существуют у любого животного, которое может реагировать на мир, проявляя чуть больше нейрохимических реакций, чем требуется для выживания: борьбы, бегства, поиска пищи, сна и секса. Например, собака не может воспринять красный цвет розы (собаки – дихроматы, и фоторецепторы их сетчатки воспринимают только желтый и синий цвета), но при этом у собак наблюдается широкий спектр весьма эмоциональных реакций на звук голоса хозяина, запах желез под хвостом другой собаки или вид белки. Я считаю, что это квалиа.

Несмотря на то что в этих предположениях присутствует элемент дилеммы яйца и курицы, они дают повод задуматься: будут ли эмоции обязательным компонентом, если искусственный разум обретет самосознание? Возможен ли настоящий самоанализ в отсутствие эмоций? Я полагаю, что процессы восприятия в феноменальном сознании не вполне реализуемы, и даже совершенно нереализуемы без эмоций.

Природу и основу переживания ощущения – будь то красный цвет розы или переливы смеха, или запах океанских волн – сложно объяснить и доказать.

Рассмотрим трагическую историю Эллиота (см. главу 3) с опухолью мозга. После операции Эллиот утратил значительную внутреннюю и эмоциональную часть себя из-за того, что опухоль и операция повредили в его мозге область, отвечавшую за феноменальное сознание. Фактически можно утверждать, что его сознание-доступ не было повреждено, и ему осталась доступна большая часть прежнего знания и опыта. Но значительная часть феноменального сознания Эллиота перестала функционировать. Он мог узнавать красный цвет заката, но вид его больше не вызывал у него эмоционального отклика, ассоциаций, и все связанные с ним значения перестали существовать. Возможно, у него могла в какой-то мере остаться способность к саморефлексии (не в последнюю очередь потому, что его мозг был мозгом взрослого человека), но из исследования Дамасио очевидно, что по большей части Эллиот лишился ее навсегда.

Поскольку то, что произошло с Эллиотом и его товарищами по несчастью, невозможно проверить под надлежащим контролем (не ставя над ними полностью противоречащих всякой этике экспериментов), сложно обоснованно объяснить, что именно произошло. Что разрушило его личность – утрата способности испытывать эмоции или другие процессы, происходившие в тех же областях мозга? С другой стороны, существуют ли случаи, когда человек, способный мыслить рационально, чувствовал бы себя лучше, полностью лишившись связи с собственными эмоциями?

Есть множество интерпретаций и объяснений нашего долгого пути к обретению сознания и самосознания. Теорий на этот счет огромное количество. Декарт считал, что основа сознания (и душа) находится в шишковидной железе, причем только у людей. Стивен Джей Гулд считал, что самосознание – свойство, присущее исключительно людям⁹. Джулиан Джейнс придерживался мнения, что сознание – недавний, хотя и случайный, продукт цивилизации, и отрицал его существование у наших предков, по крайней мере до древних греков. Дэниел Деннет в своей модели множественных проектов рассматривает подобное сознание как артефакт непрерывного повествования и интерпретации событий. (Хотя, на мой взгляд, модель Деннета заслуживает критики по ряду пунктов, она описывает некоторые циклические аспекты разума, которые могут оказаться неотъемлемым свойством того, что мы называем сознанием.)

Странно, что мы, люди, приложили столько усилий, чтобы оказаться единственными, кто обладает самосознанием. Пришло ли это понимание к нам свыше, как в мифе о Прометее, или с помощью эзотерических практик или метафизических процессов, но мы абсолютно уверены в том, что истинное самообращенное сознание не будет даровано никогда и никому, кроме нас.

Как уже говорилось раньше, чтобы стать крайне опасным, искусственному разуму не нужно достигать человеческого уровня сознания. Немного отойдем от самосознания и рассмотрим идею о том, что интроспективное самосознание – необходимое условия для волеизъявления. Я бы сказал, что это предположение весьма далеко от истины. У большинства животных нет подобного сознания, в том смысле, что лишь немногие из них способны по-настоящему осознавать себя. Но волеизъявление, желание и даже в некоторой степени самоопределение присутствуют у довольно многих животных. Такое поведение далеко не полностью предопределенное и целиком зависит от особенностей самого животного. Таким образом, не следует рассматривать самосознание как необходимое условие для существования машинного разума. Любое существо, будь это животное или машина, обладает набором внутренних поведенческих установок, которые влияют на его действия или даже их диктуют. Чем они сложнее, особенно те элементы, которые закрыты в черном ящике, тем больше потенциальная угроза.

Что я имею в виду, говоря «закрыты в черном ящике»? Практически любая достаточно сложная система в итоге достигает той стадии, когда ее решения или их последствия больше не могут объективно определяться информацией, заданной на входе. Конечно же, сознание в данный момент соответствует этому определению, равно как и разум многих животных, не обладающих самосознанием. Различные искусственные нейронные сети (ИНС) тоже соответствуют этому определению. Некоторые ИНС, по сути, черные ящики с точки зрения того, как они преобразуют входные данные в приемлемые выходные. Из этих систем можно логически вывести и экстраполировать «правила» – в некоторой мере и с большими усилиями, – но они все равно останутся черными ящиками. Такие ведомства, как Управление перспективных научных исследований и разработок МО США, предпринимали попытки убедиться в том, что ИИ может «объяснить» свои мотивы, но вопрос, можно ли считать такой подход успешным, остается спорным¹⁰.

Кроме того, ведутся дискуссии о сложности и невозможности создания ИИ полностью эквивалентного человеческому разуму. Это общее предположение и общая ошибка. Многие люди смешивают понятия человеческого разума и искусственного интеллекта равного человеческому, а также машинного разума, эквивалентного человеческому. Хотя по определению эти понятия различны.

По-настоящему человеческий, искусственно созданный разум не сможет существовать вне биологического субстрата. Даже если сможет, он просуществует недолго. Равно как и эквивалентный человеческому искусственный интеллект. ИИ, думающий в точности как люди, будет крайне сложно создать, а на его реализацию уйдет огромное количество времени.

Однако почему мы вообще должны пытаться копировать людей, создавая мыслящую машину? Если рассматривать аналогии, если бы братья Райт настаивали на создании самолета с теми же механизмами, которые использует птица, мы бы, скорее всего, так и не дождались полетов с работающими двигателями, а коммерческих авиаперевозок наверняка бы не существовало. (Конечно, в авиации предпринимались попытки копировать полет птиц, когда машина в буквальном смысле взмахивала огромными крыльями. Но стоит ли говорить о том, что эти попытки потерпели сокрушительный провал.)

Вместо того чтобы копировать полет птиц, преодолевая силу гравитации, в успешных летательных аппаратах применялись конструкционные материалы, за счет которых можно было управлять теми же силами и по тем же принципам, что и птицы, делающие это естественно: тяга, подъем, сопротивление воздуха и т. д. В конце концов был создан летательный аппарат, который превзошел пернатых по скорости, высоте подъема и продолжительности полета. Конечно, этим машинам не были доступны некоторые возможности ускорения и воздушной акробатики, которые есть у птиц, но в том и суть. Полет человека – не то же самое, что полет птицы, и он даже не эквивалентен птичьему. Тем не менее во многом машинный полет достиг «птичьего» уровня и даже в некотором отношении превзошел естественные образцы.

Использование принципов природных структур и систем в наших конструкциях называется биомимикрией, или биометрикой, и может применяться крайне успешно. Застежка-липучка, аэродинамические летательные аппараты, самовосстанавливающиеся пластмассы – самые разные изобретения были подсказаны нам природой. Тем не менее у этой техники есть свои пределы. Если копировать биологические модели слишком близко к оригиналу, особенно материалы и составные части, то систему нельзя будет скопировать даже на поверхностном уровне. Если при копировании модели отойти от оригинала слишком далеко, то есть риск косметического применения модели, из-за чего система станет хрупкой и даже нефункциональной. Настоящего успеха можно добиться где-то в середине спектра, используя естественные природные структуры как образец и отчетливо представляя возможности имеющихся материалов и инструментов¹¹.

Теперь рассмотрим концепцию искусственного разума уровня человека. Если вспомнить аналогию с птицами и самолетами, то для создания разумной машины нам не нужно применять абсолютно те же методы выполнения задач и преодоления сложностей, которые использует человек. Фактически попытка придерживаться случайно выбранных биологически обоснованных структур и методов, продиктованных эволюцией, только помешает нам достичь цели. Используя подходы, специально разработанные и более подходящие для электронных систем, чем наше «телесное обеспечение», компьютеры уже успешно применяют целый ряд алгоритмов, совершенно не похожих на биологические эквиваленты, для решения задач: численных преобразований, оптимизации изображений и синтеза речи. Подобное копирование человеческих способностей находит все больше применений. Распознавание изображений. Игра в шахматы. Выявление подлогов. Рекомендации по использованию продуктов. Не важно, насколько «человеческими» кажутся эти навыки в нашем понимании, но машины выполняют эти задачи, используя те методы и средства, которые никогда не использует человек.

Многие люди смешивают понятия человеческого разума и искусственного интеллекта равного человеческому, а также машинного разума, эквивалентного человеческому. Хотя по определению эти понятия различны.

Машины и не должны применять человеческие методы и средства. Пойдем дальше. Человеческий разум основан на биологическом субстрате, который зависит от внутри- и межклеточной коммуникации. Разные клетки объединяются, чтобы выполнять функции высшего порядка, которые не могут выполнять отдельные клетки. С функциональной точки зрения высокоуровневые клеточные функции и системы абстрагируются от низкоуровневых функций своих составляющих элементов, чтобы получившаяся структура могла не заботиться о выполнении базовых операций. Подобные отношения и взаимозависимости часто встречаются в природе и приводят к появлению процессов, органов и нейронных структур. Их сочетания и взаимосвязи позволяют появиться живым, эволюционирующим существам, обладающим сознательным самоотносящимся мышлением.

Сравним это с электронным субстратом, где проводниковые и полупроводниковые соединения образуют базовые электронные компоненты. Мы организуем эти компоненты, принимая базовые инструкции – которые называем машинным языком, и в итоге абстрагируемся до более высоких уровней, которые ближе человеку в чтении, написании и интерпретации. На этом уровне часто отпадает необходимость в базовых процессах «бытового обслуживания». Инструкции объединяются в подпрограммы, которые руководят низкоуровневыми инструкциями при выполнении поставленных задач, обработке вызовов и создании отчетов. Из подпрограмм складываются модули. Из модулей складываются программы. Из программ складываются приложения.

Можно убедиться в том, что на каждом этапе в обоих примерах используемые методы продиктованы низкоуровневыми структурами и процессами. Несмотря на то что при создании разумных машин мы наследуем принципы биологических систем, стоит предположить, что любая попытка скопировать принципиально иную систему окажется в лучшем случае напрасной тратой сил, вычислительных мощностей и ресурсов. В худшем – результат будет полным провалом.

С учетом всего этого будет полезно признать, что любой искусственно созданный разум, независимо от того, какие методы использовались для его создания, наверняка будет нам абсолютно чужеродным. Причем не как в заезженных голливудских сюжетах, а действительно чуждым, непостижимым и не поддающимся интерпретации. Вот чего нам стоит бояться на самом деле. Не того, насколько искусственный интеллект умнее человека или, если уж на то пошло, насколько он превосходит интеллект всего человечества. (Хотя, конечно, этот вопрос мы тоже должны задать.) Не того, что искусственно созданный разум разделяет или не разделяет убеждения, на которых основано наше мировоззрение, – потому что во многом он этого просто не может. По-настоящему нас должно тревожить то, что мы не сможем мыслить действительно в одном направлении с этим чуждым нам разумом, как и с другим человеком. Мы никогда не сможем полностью понять или, возможно, даже уяснить его мотивы, если они у него действительно будут. Как гласит старая поговорка, нам не удастся побывать в его шкуре.

Но верно и обратное. Во многом не имеет значения, насколько разумна машина, если она будет неспособна понять нас, а мы ее. Это одна из причин, почему нам стоит быть осторожными. Не потому, что машины могут обрести сознание, но потому, что мы будем создавать их для того, чтобы они контролировали системы. Важные для нас системы, необходимые для нашего мира и поддержания нашей жизни. По мере того как мы будем создавать все более умные и эффективные машины, мы неизбежно будем доверять им все больше задач и возлагать на них все большую ответственность – а иначе зачем их вообще создавать? Независимо от наличия у них сознания и свободы воли, все большая сложность будет означать, что процессы и логика их разума окажутся для нас недоступными. В результате что-то может пойти не так и в конце концов пойдет.

Также стоит обратить внимание на количество потенциальных разновидностей разума, которые могут появиться¹². Уже существуют разного рода машины, и у каждой свои возможности. Некоторые, как системы глубинного обучения, проявляют вполне узнаваемую, хотя и далекую от человеческой, степень разума. В то же время остальные абсолютно неразумны, хотя и демонстрируют подобие разума, то есть получая определенные данные на входе, дают самостоятельные и неслучайные данные на выходе.

Однако по мере прогресса будет ли это единственным отличием разума машин друг от друга? Мы уже давно поняли, что человеческий разум многогранен и разнообразен. Считается, что вариации общего интеллекта, или д, у людей, проходивших тестирование на определение уровня IQ, составляют от 40 до 60 %, но это лишь один аспект интеллекта в масштабах человечества. Признаки, которые могут или не могут быть уникальными аспектами интеллекта, включают в себя креативность, артистические способности, изобретательность, память, планирование, зрительно-пространственное ориентирование, кинестетическое восприятие, а также, несомненно, множество других. Кроме того, существует огромное множество аспектов отдельных личностей, из которых складывается наша уникальность: уверенность в себе, экстраверсия или интроверсия, эмпатия, паранойя, враждебность, стрессоустойчивость и т. д. Все эти компоненты составляют нашу особую ментальную картину. Наряду со всем этим в последние годы все больше получает признание EQ (эмоциональный интеллект), благодаря той роли, которую он играет в становлении успеха многих людей по всему миру¹³. Подробнее об этом позже.

Если все люди, сделанные из одного биологического материала – одни и те же инструкции ДНК, – так отличаются друг от друга, почему мы ждем от машин, что они будут одинаковыми? В частности, если они сделаны по разным схемам, чертежам и методам репликации, это приведет не только к возникновению новых особей, но и собственно новых видов. Как много вариантов возможно в этой области? Сотни? Тысячи? Миллионы? Речь идет не об индивидуальных особенностях личности, но скорее о чем-то близком к межвидовым различиям – психологической дистанции между шимпанзе и москитом. Между плоским червем и утконосом.

Чтобы лучше представить экосистему видов машинного разума, просто оцените биологическое разнообразие, процветающее на планете. Это огромная взаимосвязанная сеть, в которую входят растения, животные, бактерии и вирусы. Каждый вид эволюционировал, каждый получил особую нишу – возможность – в обширной экологической картине. Это дает им максимальный доступ к ресурсам при минимальном расходе энергии, и это решающий фактор для успешного выживания вида. Станут ли машины, как созданные людьми в прошлом, так и строящие сами себя в будущем, настолько разными в этом отношении?

Для естественного отбора необходима мутация, которая станет его движущей силой¹⁴. В природе мутация происходит с относительно стабильной скоростью, но для технологического разума это совершенно необязательно. В эволюционном исчислении используются алгоритмы, основанные на принципах Дарвина. Репродукция, мутация, рекомбинация и отбор по степени пригодности применяются в поиске решений и оптимизации задач. Эти методы уже используются для создания решений, которые никогда бы себе не представил человеческий специалист по эргономике, например высокооптимизированные усовершенствованные антенны, разработанные в Исследовательском центре Эймса при НАСА для программы Space Technology 5 (ST5) и других задач¹⁵. Другие приложения занимаются созданием лекарственных препаратов, обучением нейросетей и разработкой товаров широкого потребления, и это далеко не все сферы применения. Метод быстрого исследования определенной области проблем в поисках оптимального решения может быть крайне эффективен для создания новых разновидностей машинного разума при наличии достаточной вычислительной мощности.

Если бы братья Райт настаивали на создании самолета с теми же механизмами, которые использует птица, мы бы, скорее всего, так и не дождались полетов с работающими двигателями, а коммерческих авиаперевозок наверняка бы не существовало.

Зачем сверхразуму создавать другие разновидности разума, чтобы с ними конкурировать? Даже не учитывая того, что сверхразум будет нам чуждым, а следовательно, нам будут чужды его логические построения, возможно, они будут просто структурообразующими элементами. Они могут выполнять задачи, поглощать энергию или исследовать космос точно так же, как мы сейчас разрабатываем цифровых исполнителей, которые выполняют для нас разные задачи. По множеству причин экосистема возможных видов разума может расти очень быстро.

Следует обратить внимание и на развитие поколений искусственного интеллекта. Условия окружающей среды крайне важны для развития людей и других животных. Точно так же среда важна для искусственного интеллекта, в частности способного улавливать чужие и, возможно, даже испытывать собственные эмоции.

Джулиан Джейнс много и красноречиво писал о том, что сознание в том виде, в котором мы его понимаем, появилось совсем недавно как результат сочетания нужных когнитивных структур, культурных условий и влияния окружающей среды¹⁶. Однозначные доказательства привести сложно, но Джейнс приводит сильные, хотя и спорные аргументы, ссылаясь на множество источников из области искусства, письменности и исторических условий. С другой стороны, Нед Блок опровергает точку зрения Джейнса о том, что сознание и самосознание – продукт одной лишь культуры. В конце концов, аргументирует Блок, как наши далекие предки могли не обладать самосознанием, если у них были те же когнитивные структуры для феноменального сознания и сознания-доступа, что и у современных людей?

Все это, конечно, здорово, но достаточно вспомнить множество исследований, подтверждающих, что разная окружающая среда может по-разному влиять на психологическое развитие. Даже с точки зрения модели Блока аргументы Джейнса не лишены оснований. Среда формирует сознание.

Рассмотрим истории диких детей, например Каспара Гаузера и Виктора из Аверона, жертв беспощадных трагических обстоятельств, выросших без нормального социального воздействия. Задержка этих детей в развитии была настолько огромной, что они так и не смогли полноценно вписаться в общество. Тем не менее не вызывает сомнений, что они обладали феноменальным сознанием, способным воспринимать и оценивать мир при помощи чувств. Возможно, их восприятию не хватало глубины и тонкости из-за отсутствия культурного контекста, но вряд ли они стали бы отрицать, что роза красная. Кроме того, у них был доступ к сознанию – иначе как бы они вообще выжили?

Что бы произошло, если бы социальная изоляция этих детей была действительно абсолютной? Доведем ситуацию до крайности и предположим, что у них не было доступа к ощущениям, к миру, любой разновидности иноковости. Как могло происходить их развитие? Стали бы они развиваться вообще или просто зачахли бы и умерли?¹⁷ Хотя мир, в котором они росли, был далеко не идеальным, тем не менее он существовал, а следовательно, они могли с чем-то взаимодействовать. С этой точки зрения их сознание (или его отсутствие) кардинально изменилось из-за перемены среды.

Что бы произошло с настоящей сложной машиной, искусственным интеллектом или роботом, обладающей разумом в достаточной степени, которая находилась бы в полной и абсолютной изоляции от кого бы то ни было, чего бы то ни было и любой опыт чувственного воздействия для нее был бы исключен? Как бы она развивалась? И наоборот, изменились бы ее способы взаимодействия с миром благодаря намного более богатому предыдущему опыту? Готов поспорить, ответом на последний вопрос должно быть «да».

Феноменальное сознание должно по определению напоминать улицу с двусторонним движением. Чтобы пережить некое явление, оно должно быть сначала доступно разуму. Без феноменального сознания – без эмоций или способности ощущать и интерпретировать окружающий мир и вообще какой угодно мир – что будет с любым, будь это животное или вообще любой разум? Насколько еще возможно его изолировать?

В статье «Принцип соответствия сознания и мира» (The Mind-World Correspondence Principle)эксперт в области искусственного интеллекта Бен Герцель излагает теорию всеобщего разума, в которой (в самом общем смысле) последовательности состояний мира отображаются в состояниях сознания по мере развития разума¹⁸. Во многом именно так происходит становление нашего сознания с момента рождения. Все элементы окружающего мира – физические, интеллектуальные, эмоциональные, социальные и культурные – отображаются в наших растущих умах, создавая богатую внутреннюю реальность, которая специфическим образом настроена на реальность внешнего мира. Всё, от интуитивного понимания гравитации до приемлемых форм эмоционального и социального поведения и глубоко укоренившихся религиозных верований, постигается через опыт и оптимизирует наш разум в соответствии с культурой, в которой мы живем, и миром, который нас окружает.

Из-за этого, несмотря на то что пересечение между одной средой и другой может быть весьма обширным, различия неизбежны. Если разум оказывается в среде, которая заметно отличается от той, где он рос, эти различия могут привести к значительному непониманию и смятению.

Предположим, мы хотим, чтобы наши машины, становящиеся все более разумными, переняли наш образ мышления, насколько это возможно (для разума, который основан на принципиально ином субстрате). Возможно, нам это удастся, если «воспитать» их и поместить в среду обучения, которая будет схожа с нашей собственной. Очевидно, этот процесс будет включать в себя множество различных компонентов, но основным из них будет эмоциональное окружение, которое подпитывает нас и помогает вписаться в общество на протяжении всего периода развития. Ожидать, что такой подход окажется эффективным для небиологического разума, было бы слишком, но все же его стоит изучить.

Эмоции могут стать той средой, которая позволит совместить машинный разум с человеческим. Они необходимы, если мы хотим добиться взаимодействия с минимальным количеством проблем в нашем, хотелось бы надеяться, общем будущем. «Хотелось бы надеяться», потому что пока человечество не может совершить шаг вперед без технологии, но скоро придет время, когда технология сможет совершить его без человека. В наших интересах сделать так, чтобы этого не случилось. Об этом и пойдет речь в заключительной главе.