15. Эпоха постинтеллектуальных достижений
Где проходят границы нашей способности понимать?
«Если бы человеческий мозг был так прост, что мы могли бы его понять, мы были бы так просты, что не смогли бы его понять».
Эмерсон М. Пью. Биологическая природа человеческих ценностей
Уровень человеческого понимания с доисторических времен неуклонно возрастает. Уже почти сорок тысячелетий мы живем в эпоху интеллектуального созидания – изготовления посуды, инструментов, оружия, одежды, жилищ и транспортных средств; мы сочиняем музыку и стихи, создаем произведения искусства, изобретаем и совершенствуем сельскохозяйственные методы; создаем армии и при этом смешиваем следование долгу и традициям, одновременно восставая против них, импровизируя и изобретая новое и проводя систематическую исследовательскую научно-проектную работу, иногда озаряемую внезапными вспышками гениальности. Мы превозносим интеллектуальное созидание и с детства стремимся к признанию результатов нашего творчества. В качестве артефактов человечество создало и концепцию Бога, Разумного творца по нашему образу и подобию, что свидетельствует об уважении, которое испытываем в нашем обществе к творцам.
Мы осознаем ценность плодов нашего труда, наши законы и традиции созданы, чтобы сотворить искусственную окружающую среду, в которой можно было сохранять и приумножать накопленное богатство. Это совершенно реальная среда, а вовсе не виртуальный мир, но она представляет собой не более чем артефакт, называемый цивилизацией. Мы прекрасно сознаем, что наш вид не более устойчив к вымиранию, чем любой другой, и что человечество вполне может исчезнуть из-за чумы или технологической катастрофы, или – чуть менее страшно – окажется способным разрушить цивилизацию и вернуться в «природное состояние», согласно терминологии Гоббса, к жестокой, отвратительной и короткой жизни. Однако приходило ли когда-нибудь нам в голову, что эпоха интеллектуальных героев может просто завершиться и Homo sapiens пойдет по пути размножения, забыв свое прозвище знающего гоминина? Уже наблюдаются некоторые признаки того, что мы становимся сверхцивилизованными, благодаря изобретательности всех экономящих трудозатраты устройств, от которых становимся все более зависимыми, и вступаем в эпоху пост-интеллектуального созидания.
Взятая в качестве эпиграфа к главе знаменитая цитата Пью о дерзкой попытке использовать наш мозг для его же понимания, приписывалась многим авторам, и, вероятно, действительно произносилась многими независимо друг от друга. Одним из любимых моих вариантов является фраза Джорджа Карлина:
Долгие годы я думал, что мой мозг – главный орган моего тела, пока в один прекрасный день не подумал, хм. Да кто же мне это подсказывает!
Есть ли в сказанном сколь-нибудь важная истина или это просто новый ход картезианской гравитации, чтобы отвратить нас от попыток понять человеческое сознание? Ноам Хомский (Noam Chomsky, 1975) предложил отличать решаемые проблемы от тайн, в которые мы не можем проникнуть, и инициатива его привлекла большое внимание. Наука и технология разрешили многие загадки материи, энергии, гравитации, электричества, фотосинтеза, ДНК и нашли, в частности, причины приливов, туберкулеза, инфляции, изменения климата. Прогресс состоит из тысяч разных проблем. Однако независимо от того, насколько далеко продвинулась наука, всегда существуют проблемы за гранью человеческого понимания, называемые тайнами. Список тайн Хомского возглавляет сознание наряду со свободой воли. Некоторые мыслители, известные как мистерианцы, в силу авторитета Хомского, прямо жаждали следовать этим недоказанным утверждениям ученого. Возможно, что недоступные человеческому пониманию тайны существуют и будут существовать, однако аргументы, выдвинутые Хомским и его последователями в защиту их утверждений, неубедительны, хотя, на первый взгляд, и привлекательны. Вот аргументы в пользу когнитивной замкнутости, в основу которых положены различные версии:
Наш мозг строго ограничен, точно так же, как и мозги остальных созданий, это неоспоримый биологический факт. С точки зрения нашего относительного «Олимпа» мы можем видеть, что рыбы по-своему умны, но явно не готовы изучать тектонику плит, точно так же, как собаки ничего не соображают в концепции демократии. Каждый мозг должен страдать от когнитивной замкнутости (McGinn, 1990) по отношению ко множеству вопросов, которые просто находятся за гранью его понимания, невообразимые и непостижимые. Мы не обладаем чудесным res cogitans в голове, у нас там просто мозговая ткань, подчиняющаяся законам физики и биологии.
Пока все более-менее нормально. У меня нет возражений ни по одному из этих заявлений, которые сообщают о неоспоримых свойствах физического мира. Однако дальше следует:
Это было бы глубоко антибиологично – разве нет? – предположить, что наши человеческие мозги представляют собой исключение из этих естественных ограничений. Подобная мания величия – не более как архаичные реликты донаучного прошлого.
Это было бы убедительно, если бы ни один столь же очевидный биологический факт – человеческий мозг за свою историю приобрел массу приложений, тысячи мыслительных инструментов, которые приумножили наши когнитивные способности во много раз. Язык, как можно было убедиться, стал ключевым приобретением, расширившим наши индивидуальные когнитивные способности, создавая особую среду, объединяющую когнитивные возможности всех умных человеческих существ, которые когда-либо мыслили. Самый умный шимпанзе никогда не сможет сравнить свои наблюдения с шимпанзе из своей группы, не говоря уж о миллионах этих особей, когда-либо живших на свете.
Главной слабостью аргументов в пользу когнитивной замкнутости является систематическое отсутствие хороших примеров настоящих тайн. Стоит только сформулировать вопрос, на который, как вы утверждаете, никогда нельзя найти ответ, как запускается процесс доказательства вашей неправоты: вы заявляете тему исследования. Если же ваш вопрос сформулирован неточно, то это, вероятнее всего, также обнаружится во время поиска ответа. Рефлексивное любопытство философии – стремление к обобщениям, к «мета» по любому поводу – служит почти гарантией того, что непременно начнется нечто, приближающееся к исчерпывающему поиску, нечто, порой не идущее дальше случайности, но иногда и прекрасно организованное, приводящее к постановке вопросов, формулировка которых может дать неожиданные результаты. Задавать все более совершенные вопросы – основной способ совершенствования наших поисков разгадок «тайн», и эти методы не по силам ни одному бессловесному существу. «Что такое демократия?» Собака никогда не найдет ответ, в этом вы всегда можете быть уверены, она даже не сможет понять вопрос. Мы осознаем вопросы, радикально меняющие наш поиск, превращая невообразимые тайны в трудные, но разрешимые проблемы.
Возможно, приняв во внимание практически безграничные возможности языка расширять наше познание, Хомский недавно изменил свою позицию (Chomsky, 2014). Пока существует «концептуальное различие» между проблемами и тайнами, «наука может дать нам лучшее объяснение», даже если мы не очень понимаем, как оно работает. «Это уже не важно, что мы можем понять. Мы сдались». Другими словами, благодаря языку и методам науки, которые делают это возможным, мы можем создавать надежные научные теории некоторых сложных явлений, весьма ценные, даже если на самом деле их не понимаем. Мы можем полагаться на их результаты, ставить собственную жизнь в зависимость от их выводов, не понимая, как и что происходит. Независимо от того, нравится или нет данная идея мистерианцам, она все равно интересна. Но может ли выдвинутая теория быть правдой?
Загрузка тысяч мыслительных инструментов, разработанных в ходе культурной эволюции, позволила нам значительно усилить наши способности, однако вдруг это только отложило когнитивную закрытость? Сколько знаний может впитать отдельный мозг/разум? И тут проявляется двусмысленность мистерианской гипотезы. Она утверждает, что существуют тайны, которые ни один человеческий разум не может понять или что существуют тайны за пределами объединенного понимания всей цивилизации. Идея распределенного понимания, согласно которой группа может узнать нечто, что полностью не может постичь отдельный разум, поражает некоторых людей как абсурдная, настолько они находятся под влиянием образа самостоятельного «Сделай сам» творца, гения, который проникает взором в самую суть. Это довольно распространенный мотив в самых разных вариациях. Картина, созданная в мастерской Рембрандта, ценится дешевле, чем живопись самого мастера. Романы обычно считаются написанными автором в одиночку (имена трудолюбивых редакторов, которые доводят до ума последний черновик, часто никому не известны), но творческие группы – Гилберт и Салливан, Роджерс и Хаммерштайн – всегда привлекали целые команды помощников, которые сочиняли стихи, музыку. Работа в соавторстве в области науки была обычным делом сотни лет, и сегодня в науке встречаются области, в которых статьи с одним автором крайне редки.
Один из основных документов когнитивной науки, книга «Программы и структура поведения», был написан в 1960 году Джоджем Миллером, Евгением Галантером и Карлом Прибрамом (Plans and the Structure of Behavior. George Miller, Eugene Galanter, and Karl Pribram, 1960). Они предложили идею модели ТОТЕ (Test-Operate-Test-Exit), послужившую ранним вариантом формализации идеи петли обратной связи и сыгравшей важную роль в переходе от бихевиоризма к когнитивному моделированию. Несмотря на огромную значимость этой книги, сегодня ее мало кто читает, а ведь когда-то в научной среде гуляла шутка, что Миллер написал книгу, Галантер формализовал ее и Прибрам поверил ей. Мысль о том, что подобное разделение труда возможно и может быть успешно, казалась смешной, но не долго. Наука состоит из сотрудничества, при котором теоретики, разбирающиеся в математике, экспериментаторы и полевые труженики полагаются на теоретиков без степени в математике – они работают все вместе, чтобы создавать коллективные работы, рассматривающие задачу во всех деталях, и каждый из авторов понимает проблему со своей стороны. Процветают и другие формы коллективного понимания.
Представим себе коллективного автора и его многотомную книгу Научная теория сознания, которую без дискуссий принимает все научное сообщество. Эти тома становятся, если можно так выразиться, стандартными текстами о человеческом сознании, их используют преподаватели неврологии, психологии, философии и других областей знания, для которых важно сознание как явление, притом некоторые отчаянные знатоки даже утверждают, что прочли все тома, но никто не заявляет, что понял абсолютно все уровни изложений и объяснений. Будет ли это доказательством мистерианства Хомского – ведь сознание все еще тайна, поскольку ни один теоретик не может понять его до самых глубин и во всем многообразии, или это все-таки опровергнет идею непостижимых тайн?
По мере прогресса цивилизации мы обнаружили, что разделение труда делает возможными многие вещи. Один-единственный человек или семья могут построить простой домик и лодку, небольшая община – возвести забор или амбар, однако строительство храма или корабля требует уже сотен работников с десятками различных квалификаций. Сегодня рецензируемые статьи, написанные при участии сотни соавторов, выходят из ЦЕРНа и других бастионов фундаментальной науки. Часто ни один из команды соавторов не может утверждать, что обладает более детальным пониманием всей задачи, чем взгляд с высоты птичьего полета, и мы достигли той точки на пути прогресса, когда даже самые блестящие мыслители стали зависимы от экспертной оценки и помощи своих коллег.
Возьмем Эндрю Уайлса, блестящего математика из Принстона, который в 1995 году доказал последнюю теорему Ферма, совершив одно из выдающихся достижений современной математики. Изучая историю открытия в деталях, со всеми ошибками и недостатками самой первой версии доказательства, можно увидеть, что работа ученого стала триумфом многих умов, сообщества экспертов, которые сотрудничали и одновременно соперничали друг с другом в процессе достижения результата. Без многочисленных достижений и трудов прошлого, на которые опираются доказательства, ни сам Уайлз, ни иной математик не смогли бы судить, в чем заключается теорема и что она вообще доказана101. Если вы одинокий математический волк и полагаете, что доказали теорему Ферма, вы должны сделать выбор: либо я только что доказал теорему Ферма, либо я схожу с ума, и поскольку история показывает, что многие блестящие математики порой ошибались, полагая, что достигли успеха, придется отнестись ко второму предположению со всей серьезностью. Только соблюдение формальностей и последующие поздравления коллег избавят вас от сомнений.
Даже художники, поэты и музыканты, ценимые за индивидуальность и «божественный дар», достигают результатов, только если как следует изучают наследие своих предшественников. Бунтари XX века, сделавшие себе фетиш из опровержения всяческих канонов в стремлении достичь супероригинальности, либо были забыты, либо доказали, что величие их произведений определяется более внимательным следованием традициям, чем хотелось бы авторам. Художник Филип Гастон однажды красноречиво признался в своей зависимости от всего того, что он вынес и усвоил из творчества других:
Мне кажется, что Джон Кейдж однажды сказал мне: «Когда ты начинаешь рисовать, в твоей студии находятся все – прошлое, друзья, враги, мировое искусство и, прежде всего, твои собственные идеи. Но когда ты работаешь над картиной, они постепенно покидают тебя один за другим, и ты остаешься совсем один. А потом, если повезет, уйдешь и ты» (Philip Guston, 2011, стр. 30).
С какими ограничениями в мозгу мы рождаемся? Сегодня мы можем сказать, что каковы бы ни были эти ограничения, временные или абсолютные, мы нашли обходной путь, и заметно его усовершенствовали, отодвинув с его помощью слабости и несовершенства: это сотрудничество, систематическое и неформальное.
Группы могут думать вместе и приводить доказательства понимания, а индивидуумы нет, и многие наши сегодняшние достижения стали результатом этого открытия. Можно сопротивляться идее группового понимания, но только – насколько я могу судить – придавая пониманию мистическую составляющую, не имеющую почти ничего общего с пониманием, на которое могут положиться все и с помощью которого можно решать задачи и создавать шедевры. Это ослабляет мистерианские аргументы. Игнорируя возможности коллективного понимания, они оживляют давно устаревшие представления о понимании как небесном благословении, «все или ничего», которым оно, конечно же, не является.
Декарт был очень озабочен сохранением совершенного понимания своих «ясных и четких» идей и утверждал, что для этого нам необходимо доказать существование доброго, всемогущего, бессмертного Бога. Его гипотеза, результат мысленного эксперимента, предполагала, что в противном случае должен был существовать злой демон, стремящийся к всеобщему разочарованию в самых глубоких убеждениях, и эта «принципиальная возможность» зафиксировала его метод и весьма прочно связала ему руки. Согласно Декарту, полагаться можно только на надежность, которую мы приписываем совершенно очевидным математическим истинам (2 + 2 = 4, треугольник на плоскости имеет три стороны и внутренние углы, сумма которых равна сумме двух прямых углов), и только они могут считаться реальным знанием, а совершая индивидуальные шаги в познании, мы можем считать совершенным пониманием только кристально ясные и максимально простые доказательства. Декарт полагался на Бога как гаранта доказательств, мы же полагаемся на то, что не может быть совпадением мнение многочисленных мыслителей, пришедших к одному и тому же выводу разными путями. (Заметьте, что это пример применения принципа, согласно которому на парусное судно нужно было брать три хронометра, и когда они начинали расходиться в показаниях, неправильным считалось самое странное из них.) Мы склонны упускать из виду важность того факта, что у нас имеется обширный опыт множества людей, приходящих к одному и тому же ответу, например при умножении и делении, как если бы это не было нашим опытом, никакое количество аналитических размышлений о необходимости математики или существовании доброго Бога не смогло бы убедить нас доверять нашим подсчетам. Является ли арифметика надежной системой вычислений? Вероятно – настолько вероятно, что вы можете спокойно доверить ей свою жизнь.
«Мама, смотри, ручек-то нет!»
Цивилизация движется вперед, расширяя количество важных операций, которые мы можем совершать, не думая о них.
Альфред Норт Уайтхед
Я не понимаю того, что не могу создать.
Ричард Фейнман
Я утверждал, что базовые, восходящие, бездумные процессы созидания, ведомые естественным отбором, постепенно сотворили подъемные устройства, экономящие усилия и делающие созидательную работу более эффективной, – и так открыли пространство созидания для будущих подъемных устройств, постепенно ускоряя приближение эпохи разумного созидания, эпохи расцвета нисходящих, интеллектуальных, осмысленных, систематических творческих процессов. Эти процессы привели к изменению баланса сил отбора, которые сформировали нас и другие организмы и породили высокопродуктивные теории, которые ретроспективно объяснили процессы их собственного возникновения. Каскад подъемных устройств вовсе не чудо, не божественный дар, это естественный продукт фундаментального эволюционного процесса, наряду с другими плодами Древа жизни.
Итак, за несколько тысячелетий люди научились ценить мощь индивидуального разума. Используя инстинктивные привычки всех живых существ, мы отличаем пищу от отравы, и, как и другие движущиеся организмы, мы весьма чувствительны к одушевленности (управляемому движению) других движущихся сущностей, и особенно к верованиям и желаниям (информации и целям), направляющим эти движения, отслеживая по возможности, кто что знает и кто чего хочет, чтобы управлять нашими собственными усилиями и поисками. Эта врожденная субъективность служит генетической основой для нашей интенциональной позиции, нашей привычки считать друг друга существами рациональными, ведомыми истинными убеждениями и осознанными желаниями. Наш постоянный интерес к этим вещам сформировал народную психологию, на которую мы опираемся, чтобы понять друг друга. Мы используем ее, чтобы предсказывать и объяснять не только повторяющееся поведение, наблюдаемое у наших соседей и близких, но и «вынужденные действия», которые глупо не совершать, и даже многие «озарения», служащие признаком «гениальности». Наши ожидания весьма часто подтверждаются, и это укрепляет нашу интенциональную позицию, поэтому, когда они вдруг оказываются ложными, мы оказываемся сбиты с толку и ищем «объяснения» нашей неудаче, которые в лучшем случае оказываются пустыми догадками, а в худшем – вредным мифотворчеством.
Мы поощряем любознательность и стремление к творчеству в наших детях и сознательно анализируем собственные мысли, стараясь избежать узости и ограниченности. Нам не нравится в других людях предсказуемость (скука, отсутствие оригинальности), но мы не любим и хаос в мыслях. Совершенство достигается упражнением, поэтому мы придумали игры, которые активизируют наш ум, такие как шахматы, го, покер, и создали всевозможные вспомогательные устройства – телескопы, карты, калькуляторы, часы и тысячи других, они помогают нам применять наш разум во все более искусственных и сложно устроенных средах. В каждой области исследований и проектирования трудятся высокоорганизованные сообщества экспертов, работающих над созданием и усовершенствованием теорий и других артефактов, мы создали традиции и рыночные механизмы, чтобы обеспечить их временем, энергией, материалами для их проектов. Мы разумные творцы, живущие в разумно спроектированном нашими предками мире для разумных творцов. И теперь, столетия спустя, мечта реализуется: мы начали проектировать и создавать артефакты, которые могут проектировать и создавать артефакты (которые, в свою очередь, могут проектировать и создавать артефакты…).
Множество рук делают работу легкой. Это еще одна поговорка, которая применима не только при строительстве амбаров, но и в умственной работе, но сейчас мы уже обнаруживаем постепенно, что работа без участия рук оказывается часто не только легкой и простой, но и, благодаря артефактам, созданным нами недавно, буквально более умной.
Нанотехнология, новая и активно развивающая область химии и материаловедения, начинает создавать артефакты на атомарном уровне благодаря талантливой и тщательной работе пионеров этой области, которые произвели хитроумные инструменты, способные манипулировать (двигать, резать, изолировать, обездвиживать и т. д.) мельчайшие частицы материи в наномасштабах (нанометр равен одной миллиардной метра). Как когда-то проект GOFAI, нанотехнологии начинались как нисходящее творческое проектирование, замечательный способ ручного изготовления широкой линейки «чудодейственных лекарств», «умных материалов» и прочих нанороботов. Они уже достигли выдающихся результатов и достигнут еще многого, особенно с помощью новой технологии CRISPR (о ее основах популярно можно прочесть в книге Specter, 2015). Подобно ПЦР (полимеразная цепная реакция), методу, произведшему революцию в секвенировании генов, CRISPR позволяет редактировать и соединять гены более-менее по собственному усмотрению и заменяет сложные и трудоемкие технологии, сокращая трудозатраты и усилия, необходимые в столь деликатной области. Дженнифер Даудна из университета Беркли и Эммануэль Шарпантье из Института Макса Планка – одни из самых выдающихся создателей этих новшеств.
Технологии, разработанные кинокомпанией Pixar и другими специалистами по компьютерной анимации, делают процессы полностью автоматизированными, управляемыми «нажатием кнопки»; они заменяют тысячи дней творческого, но каторжного труда (это не оксюморон – весьма одаренные люди выполняли требующую таланта, но однообразную работу). Когда «Уолт Дисней Продакшен» сняла «Белоснежку и семь гномов» в 1937 году, зрители были поражены жизненностью анимации, плодами труда сотен талантливейших аниматоров, трудившихся в высокоорганизованных коллективах над созданием реалистичной картинки, сложнейших движений персонажей, разложенных по тысячам кадров. Эти героические художники, творившие в каторжных условиях, стали историей; таланты и навыки, необходимые для аниматора, безнадежно устарели; то же самое можно сказать и об умениях молекулярных биологов, которые умудрялись искусно изолировать фрагменты гена и терпеливо исследовали последовательность кодонов, тратя на это долгие часы. Похожие истории об автоматизации весьма утомительных интеллектуальных задач можно найти в любой области деятельности, от астрономии до анализа текста. Как правило, эти задачи сводились к широкомасштабным сбору, сортировке и уточнению данных, а интерпретаторы тратили достаточно долгое время на обдумывание результатов. (Никогда не забуду случай, когда я провел целый день в лаборатории молодого многообещающего нейрофизиолога, осуществлявшего сбор экспериментальных данных у макак с вживленными в головы электродами. Вечером я спросил его, что он думает о теоретическом споре, который разворачивался в те времена вокруг роли различных видов мозговой деятельности в формировании сознания; он вздохнул и ответил: «У меня нет времени думать! Все мое время занято экспериментом».) Новые технологи минимизируют рутинную работу – они потрясающе компетентны, но при этом сохраняют роль инструментов, – но это не коллеги-роботы; они остаются полностью зависимыми от решений и намерений пользователей наукоемких технологий, заведующих лабораториями и руководителей студий.
Однако сегодня мы постепенно начинаем ценить и использовать истинность Второго правила Орджела: эволюция умнее нас. Творцы-интеллектуалы используют восходящие и неутомимые алгоритмы естественного отбора (и его близких родственников) во многих сферах – они выполняют черновую работу во время массированных поисков, разыскивают пресловутую иголку в разных видах стогов.
Некоторые исследователи вовлекают принципы биологического естественного отбора в лабораторную работу. Например, Фрэнсис Арнольд в Калифорнийском технологическом институте работает в области синтеза белков, и ее труды уже отмечены несколькими престижными наградами. Она разработала систему создания гигантских популяций разных генных вариаций – рецептов ДНК по созданию белков – и протестировала получившиеся белки на существование у них способностей, никогда не имевшихся в природе.
Мы создаем новые инструменты для инженерии белков и используем их для создания новых и улучшенных катализаторов фиксации углерода, высвобождения сахаров из возобновляемых полимеров, таких как целлюлоза, и биосинтеза топлива и химических соединений (Arnold, 2013).
Она доказала, что пространство возможных белков существенно больше, чем пространство существующих белков, и поэтому у эволюции еще множество неиспользованных ею и неисследованных нами путей, и она может пойти по ним и удивить новыми лекарствами, тканями, катализаторами, множеством наноботов, которые будут исполнять наши приказы, стоит нам их обнаружить. Когда она училась в аспирантуре, ее научный руководитель заявил однажды, что белков с теми свойствами, которые она хотела обнаружить, не существует. «Это потому, что на них не был направлен отбор», – ответила смелая девушка.
Следовательно, эти энзимы могут открыть перед нами совершенно новые «горизонты химии», методы, которые просто не могли быть использованы ранее в медицинской химии (Arnold, 2013).
Фрэнсис Арнольд создала технологию синтеза новых белков – длинных соединений аминокислот, которые, будучи соединены между собой, превращаются в удивительных наноботов, обладающих потрясающими свойствами.
Заслуженный профессор музыки из Калифорнийского университета Санта-Круз Дэвид Коуп разработал совершенно иную технологию: он использовал компьютерную программу для сочинения новой музыки – создания длинных последовательностей нот и аккордов, которые превращаются в замечательные музыкальные композиции: они имитируют Баха, Брамса, Вагнера, Скотта Джоплина и даже комедийные куплеты (Cope and Hofstadter, 2001). Насколько оригинальны тысячи произведений, сочиненных программой Коупа EMI (Experiments in Musical Intelligence)? Ну, они явно являются производными от великих произведений, стилю которых подражают, и содержат заимствования, но в то же время и не являются копиями с немногочисленными вариациями; они намного лучше. Программа как бы переваривает произведения мастеров и извлекает из них главное, суть, стиль композитора и сочиняет новую пьесу в том же стиле, что на самом деле чрезвычайно сложно. (Попробуйте, если вы музыкант, и увидите, каково это – сочинить пьесу для фортепьяно как настоящий Шопен или Моцарт, или джазисты Каунт Бейси или Эрролл Гарнер. Простая пародия или карикатура даются просто, особенно для джазового пианиста, подражающего Эрроллу Гарнеру, однако сочинение хорошей музыки требует выдающегося опыта и таланта, если вы человек.)
Коуп трудился над проектами по созданию музыкального интеллекта более трех десятков лет, и в результате было написано множество гармоничных пьес для пианино, песен, симфоний и разных других композиций. Сам Коуп не притрагивался ни к одной из них, только делал окончательную эстетическую оценку, какое произведение лучше всего дать прослушать ценителям. Мне тоже удалось организовать удачное тестирование EMI – очередное из множества, пройденных ею за эти годы, – на Фестивале Баха в Монреале в декабре 2015 года, где я выступал с докладом о некоторых основных моментах настоящей книги, завершив его перформансом в исполнении украинского пианиста Сергея Салова: он сыграл четыре фортепьянных пьесы. Перед концертом я сказал собравшейся аудитории любителей Баха, что, по крайней мере, одна из этих пьес принадлежала самому Баху, и, по крайней мере, одна была сочинена EMI. После исполнения мы провели закрытое голосование, и десятки зрителей решили, что два сочинения EMI были созданы самим Бахом, – возможно, это не было большинство, однако близко к нему; а когда я попросил встать тех, кто угадал все правильно, под аплодисменты поднялись всего около десятка знатоков.
И Коуп, и Арнольд, поставили себе цели и решили, что могут объявить о победе, больше ничего общего у них нет. Эти два совершенно разных исследовательских проекта представляют собой два примера методической селекции Дарвина; селективная сила естественного отбора фокусируется посредством нервной системы проницательного, целеустремленного, способного к предвидению агента. Однако самая тяжелая работа ложится на неотъемлемые способности алгоритмов естественного отбора находить закономерности, на повторяющиеся циклы создания-и-проверки, которые постепенно оттачивают процесс.
Поскольку естественный отбор нейтрален к среде и представляет собой набор алгоритмов, которые могут протекать в любой среде с самыми простыми свойствами, эволюция in silico (кремневая, имитируемая компьютерными программами) на самом деле быстрее и дешевле, чем эволюция in vivo, то есть натуральная, и может быть применена для ответа на многие вопросы, которые вы задаете. Недавняя книга Педро Домингоса (Pedro Domingos. The Master Algorithm, 2015) являет собой живое и профессиональное описание всех новых вариантов дарвиновских и – если можно так сказать – дарвиноподобных систем «машинного» и «глубокого» обучения. Домингос вносит порядок в эту сферу, идентифицируя пять «видов машинного обучения»: символисты (потомки GOFAI), коннекционисты (последователи логических нейронов Маккалоха и Питтса – см. главу 6), эволюционисты (генетические алгоритмы Джона Холланда и их потомки), байесовцы (те, кто разрабатывает практические алгоритмы для достижения компетенций иерархических цепей байесовских генераторов ожиданий) и аналогизаторы (потомки алгоритма «ближайшего соседа», разработанного Фиксом и Ходжесом [Fix and Hodges, 1951]). Все эти различные методы – отголоски естественного отбора. Очевидно, что, будучи основанными на компьютерных технологиях, все они в итоге состоят из простейших, лишенных понимания компетенций (условное ветвление и арифметика) и, за исключением, возможно, созданий символистов, имеют восходящий характер, представляют собой повторяющийся процесс-поиска-иголки-в-стоге-сена, который постепенно, с высокой степенью надежности, приводит к хорошим (или достаточно хорошим) ответам на заданные вопросы.
Джон Холланд, всеми любимый и недавно умерший учитель десятков замечательных молодых специалистов в области когнитивистики и информатики в Институте Санта-Фе и Мичиганском университете, изобрел генетический алгоритм, в котором совершенно очевидны параллели с эволюцией путем естественного отбора, чем весьма льстит дарвинистам, он представляет собой создание огромной популяции разных вариантов кодировки, каждому из которых предоставляется возможность добиться успеха в решении проблемы, и победители экологического теста получают возможность размножиться (с помощью чего-то типа секса, и «скрещивание», как случайное смешение генов, происходит во время создания спермы и яйцеклетки). Через несколько поколений способности случайно состряпанных компьютерных кодов умножаются и оттачиваются. Генетические алгоритмы были использованы для разработки поразительных виртуальных созданий Карла Симса (см. сайты, посвященные этой вполне продуктивной и серьезной игре воображения), а также серьезных инженерных разработок печатных плат и различных программ. Домингос отмечает, что в 2005 году был выдан патент на систему оптимизации производства, созданную при помощи генетических алгоритмов (генерал Лесли Гровс, вас догоняют). Архитекторы начали использовать генетические алгоритмы для оптимизации функциональных характеристик зданий – например, прочности, безопасности, использования материалов, света, энергии.
В научных же исследованиях машинное обучение используется для решения посредством грубой силы проблем, находящихся за гранью человеческих возможностей проанализировать их. Примечательно, что покойный Ричард Фейнман, блестящий физик-теоретик, провел большую часть последних дней своей жизни за исследованием возможности использования суперкомпьютера для решения физических проблем, которые не поддавались даже его способности к решению уравнений. И он дожил до того момента, когда его умение стало ненужным. Хотя утверждение о том, что то, что вы не можете сделать своими руками, не может быть понято, по-прежнему иногда верно, но создание чего-либо уже не гарантирует понимание, как это было прежде. Сегодня можно сделать – причем косвенным путем – вещи, которые будут делать то, что вы хотите, чтобы они делали, но при этом вы не будете понимать как. Иногда это явление называют научным черным ящиком. Вы покупаете новейший хай-тек черный ящик, вводите в него необработанные данные и получаете результаты анализа; графики можно распечатать и опубликовать, хотя вы не можете объяснить в деталях, как это работает, починить ящик, если он сломается, и не ясно, сможет ли кто-то другой это сделать. Конечно, эта возможность всегда угрожала нам, конечно, вещи, которые мы делаем «руками» (лодки, мосты, двигатели, симфонии), можно контролировать в процессе созидания, понимая все необходимые стадии процесса. Вещи, которые мы делаем «старым дедовским способом» (дети, внуки…), не поддаются нашему пониманию, поскольку мы не обращаем внимания на детали процесса. Сегодня мы создаем детей разума, внуков разума, праправнуков разума, зависимых от процессов, которые мы не можем проследить в деталях, даже если можем подтвердить высокую надежность результатов.
Использование компьютеров в исследованиях породило особый тип проблем, связанных с максимой Фейнмана. Некоторые математические доказательства, выведенные (полностью или частично) компьютером, порой слишком трудоемки для одного математика, он физически не может проверить каждый шаг, а ведь тысячелетиями стандартные доказательства предполагали именно это. Что это может дать? Знаменитым примером помощи компьютера в доказательстве теоремы стало решение в 1976 году проблемы четырех цветов, впервые предложенной Мебиусом еще в 1840-х годах. Любая карта смежных областей, разделенных общими границами, может быть окрашена всего в четыре цвета таким образом, чтобы один и тот же цвет никогда не появлялся по обе стороны границы. Многие знаменитые математики пытались доказать теорему, но безуспешно, пока Кеннет Эппел и Вольфганг Хакен не привлекли компьютер, с его помощью они смогли рассмотреть и отбросить почти 2000 различных вариантов, которые, как они ранее доказали, должны быть изучены. В течение нескольких лет это доказательство не принималось научным сообществом, поскольку компьютер выполнил серию шагов, физически недоступных человеку, однако сегодня среди математиков установился консенсус, они все-таки считают теорему доказанной. (Появились и альтернативные доказательства, тоже сделанные с помощью компьютера.) Результат был «интуитивным»: никому и раньше не удалось привести четкий пример существования иного решения, несмотря на многолетние попытки, и математики верили в теорему задолго до современного доказательства. В шахматах, к примеру, существует правило пятидесятого хода, после которого игра объявляется ничьей, если ни одна фигура не была взята и ни одна пешка не сделала хода; это правило долгие годы считалось экспертами слишком благородным, однако компьютерный анализ некоторых видов матовой сети (положение короля, в котором он не может выбраться из окружения фигур соперника, угрожающих ему постановкой мата) показал, что они позволяют не брать фигуры и не двигать пешки на протяжении многих сотен ходов. После нескольких экспериментов по пересмотру количества ходов Международная шахматная федерация ФИДЕ официально приняла правило пятидесятого хода, поскольку возможность продолжения никогда не возникает в серьезной человеческой игре.
Программы, анализирующие шахматные позиции так же, как и те, что решают математические уравнения, представляют собой традиционные, нисходящие созданные интеллектом программы. Программы, которыми занимается Домингос, отличаются разительно. Он утверждает: «Мы можем думать о машинном обучении как о процессе, обратном программированию, по тому же принципу, что взятие квадратного корня обратно возведению в степень или интеграция обратна дифференциации». Еще одна странная инверсия причинности, или, скорее, очередной этап базовой инверсии Дарвина: умение без понимания. «Центральная гипотеза» книги Домингоса кажется воистину дерзкой:
Всякое знание – прошлое, настоящее и будущее – может быть получено из данных посредством единственного, универсального обучающего алгоритма.
Я назвал этого ученика Верховным алгоритмом. Если такой алгоритм возможен, его изобретение стало бы одним из величайших достижений всех времен. На самом деле, Верховный алгоритм – последнее, что нам придется изобретать, поскольку, как только мы его выпустим на волю, он начнет изобретать все остальное, что еще можно будет придумать. Все, что нам нужно будет сделать, – это предоставить ему достаточное количество данных, и он снабдит нас соответствующим знанием.
Однако осталось неясным, действительно ли он говорит это всерьез, поскольку он отступил:
Ок, кто-нибудь скажет, что машинное обучение может обнаружить статистические закономерности в данных, но никогда не сможет открыть ничего фундаментального, как законы Ньютона. Вероятно, это еще не так, но я готов спорить, что будет.
Это пари, а не гипотеза, которую, как он думает, он может подтвердить серьезными аргументами в своей книге. В любом случае весьма полезно заглянуть в будущее с этой точки зрения, поскольку весьма многие не очень образованные люди в своих кошмарах видят примерно такие перспективы, и это помогает внести долю скептицизма в ужасные предсказания. Мы можем начать с заявления, ответом на которое и стало пари Домингоса. Может ли машинное обучение продвинуться дальше поиска «статистических закономерностей»? Домингос в этом уверен, но на чем основан его «оптимизм»?
Как устроена интеллектуальная среда?
Мы уже убедились в великолепной способности байесовских сетей подражать статистическим закономерностям, имеющим значение для организма – его потенциальным возможностям. Разум животных, оснащенный естественным отбором подобной сети, может управлять телами, в которых обитает с потрясающей ловкостью, однако не проявляет особых способностей к созданию нового и адаптации к нему. Это, как я писал, требует инфицирования разума мемами, когнитивными способностями (привычки, способы), разработанными где-то и установленными в мозгах стремлениями, которые глубоко изменяют когнитивную архитектуру мозга, превращая его в разум, по сути. Итак, единственные животные, обладающие этими усовершенствованиями, – наш вид Homo sapiens.
Точно так же, как клетка-эукариот возникла в результате внезапной передачи технологии, во время которой два независимых создания природной проектной лаборатории объединились в приступе внезапного симбиоза, чтобы положить начало гигантскому скачку вперед, человеческий разум, понимающий разум, представляет собой – и должен представлять – продукт симбиоза, объединяющего плоды двух в значительной степени независимых творений лаборатории эволюции. Мы начали этот путь, как я утверждал, с мозгами животных, которые были существенно переработаны под прекрасную базу для мыслительных инструментов, созданных где-то вовне, мемов, и главных среди них – слов. Мы обретаем большинство наших слов бессознательно, то есть никто не приказывает нам в детстве выучивать по семь новых слов в день, и смысл большинства слов – слов, которые нам никто не разъяснял, мы осваиваем постепенно, благодаря бессознательным процессам, которые находят смыслы в наших прошлых с ними опытах. Как только у нас зародились слова, мы смогли начать их использовать, но без особого понимания того, что мы делали. (У всякого слова в вашем лексиконе был первичный токен, первый раз, когда вы его использовали либо на публике, либо во внутреннем монологе или размышлении. Как часто вы осознавали, что впервые произносите новые слова, появившиеся в вашем рабочем словаре, положим, в последние десять лет? Когда-то?) Когда слова стали нашим привычным инструментом, не просто звуками, привязанными к контексту, мы смогли начать использовать их для создания новых смыслов для всего, с чем мы сталкиваемся.
Пока машины глубокого обучения проявляют довольно мало признаков роста подобного рода навыков. Домингос настаивает, что самообучающиеся машины созданы (весьма разумно) для того, чтобы самостоятельно использовать дарвиноподобные, восходящие процессы самосовершенствования. Для программы IBM Watson, победившей в 2011 году чемпионов телевикторины Jeopardy Кена Дженнигса и Бреда Раттера, слова, которые она связывала в ответах, были не мыслительными инструментами, но просто узлами в многомерном пространстве узлов, не столько мемами, сколько ископаемыми следами человеческих мемов, сохраняющими колоссальные объемы информации о человеческих верованиях и практиках, но не принимающими активного участия в этих практиках. Пока нет, но, может быть, однажды это произойдет. Короче, программа Watson пока не думает, пользуясь словами, о том, что является для нее статистической информацией. Watson может отвечать на вопросы (на самом деле благодаря странным правилам викторины программа может составлять вопросы, на которые подсказки викторины служат ответами. Jeopardy: «Столица штата Иллинойс», участник: «Что такое Спрингфилд?»), но это не беседа.
Именно способность к самоконтролю, готовность подвергнуть паттерны реакций мозга дополнительному раунду (двум, трем или семи раундам) процедуры распознавания паттернов, дает разуму способности к совершению прорывов102. Сегодняшнее машинное обучение действует в среде, где роли играют умные люди-пользователи, такие как Фрэнсис Арнольд с ее мастерской белков или Дэвид Коуп с экспериментами в области музыкального интеллекта, проектировщики и операторы машин, – они оценивают, улучшают, критикуют, корректируют и удаляют появляющиеся время от времени сомнительные результаты. Они являются критиками, чья деятельность по контролю качества обеспечивает селекцию, могущую в принципе привести эту систему к пониманию, поднять ее от уровня инструмента до уровня коллеги, но это будет гигантский шаг или даже серия гигантских шагов. С этой точки зрения мы можем более отчетливо осознать, что наш зараженный мемами разум служит вместилищем пользователей, критиков необработанных реакций наших животных мозгов, без которых мы были бы такими же бесхитростными существами, как другие млекопитающие, которые прекрасно справляются в привычных условиях, но теряются перед лицом серьезных изменений.
Любопытство сгубило кошку, как известно из одного мема, и любопытство животных, движимое снизу вверх присутствием новизны, является высокорискованным, порой дорогостоящим, но важным свойством многих видов; но только человек обладает любопытством контролируемым, систематическим, способным к предвидению и проверке гипотез, чертой пользователей, сидящей в каждом мозгу, пользователей, способных применять широкие возможности своего мозга для обнаружения статистических закономерностей. Пользовательская иллюзия сознания играет ту же самую роль для каждого из нас, что и интерфейс человекоподобного компьютера Ватсона и других систем глубинного обучения; они представляют собой нечто вроде витрины для талантов, «рынок идей», где оценка в реальном времени и конкуренция могут повысить скорость и разрешающую способность контроля качества.
Таким образом, человеческое мышление (Дарвин считал его особым явлением и назвал методическим отбором) может ускорить естественный отбор, сосредоточив селективные усилия на восприятии и мотивации специалистов по одомашниванию. Фрэнсис Арнольд не просто выращивает новые белки; она создает интенсивное, направленное их воспроизводство. Это должно насторожить нас: наш удивительный разум не застрахован от причуд и фантазий, которые могут исказить наши проекты, направить их в странном и даже ведущем к саморазрушению направлении. Подобно тому как любители голубей порой разводят птиц с невероятным оперением или заводчики собак создают несчастных инвалидов, «игрушечных собачек», человеческие существа могут – часто с помощью слишком активных помощников – превращать свои умы в гротескные артефакты, беспомощные или даже хуже.
Это предполагает, – но не доказывает, конечно, – что без нас, пользователей машин, критически и проницательно интерпретирующих результаты, компьютеры глубокого обучения могут увеличивать компетентность, значительно обгонять разум животных (в том числе и наш) в области восходящих задач поиска статистических закономерностей, но никогда не смогут достичь понимания (в человеческом смысле). «Ну и что?» – может спросить кто-нибудь. «Компьютерное понимание, развивающееся снизу вверх, сможет поглотить человеческое, превзойдя его своими огромными масштабами и скоростью обучения». Последний прорыв в области искусственного интеллекта, программа глубокого обучения AlphaGo, победившая Ли Седоля, считавшегося лучшем игроком в го в мире, отвечает многим ожиданиям. Я упоминал Фрэнсис Арнольд и Дэвида Крупа, каждый из которых осуществляет контроль качества в созидательных процессах, руководимых ими с научной и эстетической точек зрения, и именно их мнение определяет дальнейшие направления работы. Они, если можно так выразиться, управляют машинами, которые они создали посредством личного творчества. А программа AlphaGo делает нечто аналогичное самостоятельно, согласно публикациям: она улучшает свои навыки игры, играя тысячи матчей в го сама с собой, внося при этом небольшие поправки в собственные коды, оценивая (вероятные) успехи и используя эти оценки для корректировки ходов во все новых раундах игры. Это уже иной уровень созидания и оценки, он применяется для весьма абстрактной игры, изолированной от шума реального мира и сопутствующих ему проблем, однако AlphaGo учится принимать «интуитивные» решения в ситуациях с небольшим количеством строгих ориентиров, с которыми обычно работают компьютерные программы. Уже почти готов к внедрению самоуправляемый автомобиль, – а эта перспектива еще совсем недавно казалась умозрительной, – так может быть, не так долго осталось и до самоуправляемой научной лаборатории?
Таким образом практические, научные, эстетические мнения имеют шанс скоро уйти на аутсорсинг искусственным специалистам. Если точка зрения Сьюзен Блэкмор оправданна, право на мнения и суждения уже постепенно перестает быть человеческой прерогативой в цифровом мире популярной музыки и интернет-мемов – тремов, согласно новой терминологии (см. главу 11). Столетиями мемов было слишком много, люди жаловались на обилие мемов со времен изобретения печатного станка и хотели создать какие-нибудь фильтры, чтобы убрать тем или иным способом засоряющие мозг, отнимающие время мемы. Не пытайтесь прочесть все стихи всех поэтов; подождите, пока авторитетный поэт или критик не выпустит антологию, в которую отберет лучшее. Однако какому авторитету можно доверять? Кто понимает ваши вкусы и потребности? Вы можете подписаться на литературный журнал, который публикует обзоры издательств и произведений отдельных поэтов. Однако какому литературному журналу можно доверять? Можно проверить репутацию журнала по публикациям других журналов, которые продаются в киосках. Существует целая индустрия, направленная на удовлетворение нужд разных искателей мемов, и если бизнес идет ко дну, можно попытаться создать новую потребность, которую вы же и будете удовлетворять. Это все известные вещи. Но сейчас мы вступаем в новую эру, когда ценители, законодатели мод и вкусов будут не людьми, а искусственными сущностями. Это не всем понравится, как мы увидим дальше. Но это не остановит иерархические слои дифференциальных репликаторов, их будет все больше, и мы рискуем действительно столкнуться с ситуацией, в которой оказался ученик чародея и его размножающиеся метлы.
В рекламе IBM программа Watson, «беседуя» с Бобом Диланом, говорит, что может прочесть «800 миллионов страниц текста в секунду». Другая всем известная обучаемая программа, Google Translate, сбросила с дороги системы GOFAI, которые делали попытки «разобрать» и интерпретировать (и, таким образом, понять с помощью бледной жалкой копии человеческого понимания) человеческий язык; переводчик Google Translate работает поразительно быстро, хорошо, – хотя он все еще далек от совершенства, – переводя с языка на язык, однако он полностью паразитирует на корпусе переводов, выполненных людьми-билингвами (и билингвами-добровольцами, приглашенными в качестве информаторов для работы над сайтом). В поисках закономерностей Google Translate просеивает миллионы пассажей, которые уже когда-то были хорошо переведены (достаточно хорошо, чтобы быть размещенными в Сети) и останавливается на наиболее вероятном (возможном) подходящем переводе, не понимая при этом вообще ничего.
Это, конечно, спорное утверждение, которое требует тщательного разбора. Существует анекдот об англичанине, который рассказывает о ноже: «Французы называют эту вещь couteau, итальянцы – cotello, немцы – Messer, а англичане – knife, ножом, и это он и есть!» Самодовольство англичанина является результатом того, что он знает, что такое нож, но не имеет понятия (похоже) о программе Google Translate. На жаргоне когнитивных наук знание англичанина, что такое нож (а также couteau и других слов-синонимов), основано на нелингвистическом знании, физическом знакомстве с ножами, с их способностью резать, с необходимостью их точить, ощущением веса разделочного ножа, с удобством перочинного ножа и тому подобным. Англичанин уважает слово knife, но вряд ли относится с пиететом к слову snath (ручка от косы), даже если и знает, что по-немецки это слово будет Sensenwurf. Но берегитесь. В Google Translate, несомненно, очень много данных по контекстам, в которых может появиться слово «нож», оно соседствует со словами «резать», «острый», «оружие», а также «владеть», «держать», «бросать», «колоть», «разделывать», «строгать», «втыкать» и «хлеб», «мясо», а также «карман», «заточить», «кромка» и многими другими, с их собственными соседями. Не является ли вся эта отсортированная и переваренная информация о содержании лингвистических контекстов чем-то вроде разъяснения слова «нож» в конце концов? Не служит ли она на самом деле чем-то вроде обоснований, которые многие из нас находят для технических терминов, типа «послание РНК» или «бозон Хиггса»? Она направляет процесс перевода по все более надежным каналам. Если вы доверяете Google Translate как переводчику, он вряд ли подведет вас. Демонстрирует ли он серьезный уровень понимания? Многие скажут: НЕТ! Однако если мы утверждаем, что это привычное отрицание есть что-то большее, чем просто вызов машине, должно бы существовать что-то, находящееся за пределами возможностей Google Translate, и чем мог бы оперировать по-настоящему понимающий.
Можно возразить: одно дело – перевести курсовую работу с английского на французский, а другое – оценить содержание работы. Увы, разработанный Томасом Ландауэром метод «латентного семантического анализа» (см., к примеру, Littman et al., 1998) позволил создать программу, которая делает именно это (Rehder et al., 1998). Например, перед экзаменом профессор просит учеников написать ответ на заданный вопрос, а сам пишет ответ на «отлично», загружает его в компьютер и одновременно дает ассистенту в качестве примера правильного ответа, то есть того, что должно получиться у студентов в идеале. (Ответ «отлично» экзаменуемым не показывают, конечно.) Затем программа и ассистент оценивают все студенческие ответы, причем оценки программы показывают более точное сходство с оценками профессора, чем суждения ассистента, который только начинает свою карьеру эксперта в этой области. Это, мягко говоря, нервирует: компьютерная программа, не понимающая английского, не говоря уж о преподаваемом предмете, только лишь на основе сложных статистических данных, заданных образцовым ответом профессора, оценивает студенческие ответы на тот же самый вопрос с высокой степенью надежности. Оценка знаний без понимания! (Ландауэр признал, что в принципе студент может написать такой ответ, который будет полнейшей чушью, но при этом содержать все необходимые статистические признаки правильного ответа; однако любой студент, способный такое сделать, заслуживал бы «отлично» автоматом!).
Так как насчет простой осознанной беседы с человеческим существом? Это же классический тест Тьюринга, и он на самом деле может отделить зерно от плевел, козлищ от овец, притом достаточно надежно. Программа Watson может победить Кена Дженнингса и Брэда Раттера, чемпионов телевикторины, но это не свободная беседа, и рекламный ролик, в котором она болтает с Дженнингсом, Диланом и победившей рак девушкой (ее играла актриса) – всего лишь фильм, снятый по сценарию, а не импровизация. Настоящая беседа с открытым концом между двумя разговаривающими субъектами, как отметил Декарт (1637) в поразительно прозорливом описании беседующих автоматов, будет свидетельством воистину поразительных, если не бесконечных, по собственному выражению Декарта, когнитивных способностей. Почему? Потому что обычная человеческая беседа проходит в пространстве возможностей, управляемом свободно плавающими рациональностями Грайса! Я могу неявно хотеть дать вам понять, что мое истинное намерение – уверить вас в том, что я говорю правду (иронизирую, шучу, прозрачно намекаю), но если вы не готовы осознать это и не готовы к произнесению аналогичных речей по похожим свободно-плавающим причинам, которые объясняли бы ваши собственные ответы и цели, вы не сможете стать убедительным и интересным мне собеседником. Наслаивающиеся друг на друга уровни познания Грайса, вероятно, не вполне исчерпывающе показывают свойства, лежащие в основе производительности, однако они отлично определяют компетентность.
Участник общения должен быть способен осознавать смыслы собственных действий и реакций, формулировать гипотетические сценарии беседы, «понимать» шутки, менять тему беседы, когда она становится утомительной, объяснять, о чем шла речь раньше, если потребуется, и так далее. Эти навыки требуют умения распознавать образы, которые были когда-то и где-то упомянуты, так, чтобы они могли стали основой для ответных ментальных и речевых актов. Например, если вы не способны заметить (на самом минимальном, пусть даже на подсознательном уровне), что я шучу, вы не сможете отреагировать на это, разве что случайно. Эти способности не просто нужны вашему мозгу животного для распознавания событий; это, скорее, нечто вроде средства повышенного влияния, которое не только определяет, что было замечено конкурентами ранее, но и, что гораздо важнее, способствует созданию некоего хранилища, относительно долговременного «помощника», который представляет собой не просто место в мозгу, а, скорее, что-то вроде политической коалиции, которая постоянно контролирует конкурентную ситуацию в течение нужного времени. Последствия этого («А потом что случилось?») могут быть поразительными.
Вообразите, что вас просят дополнить обрывки слов («парадигма завершения основного слова») и предлагают такие сочетания:
Что вы делаете? Подумали ли вы о старте, стабильности, станции или вспомнили фритюр, фригидный, фривольный? Представьте себе, что, пока вы выбираете слово, на экране вдруг загорается яркими буквами слово стапель и снова пропадает, заменяясь на ста__. Соблазн дать ответ «стапель» очень велик, конечно. Но руководители эксперимента сказали перед началом: «Если вы вдруг увидите на экране вспыхнувшее слово, не используйте его как ответ!» Конечно, что неудивительно, вы послушаетесь предупреждения и выберете что-то другое, например стадион или стадо. Вы не хотите использовать подсказку, поскольку следуете правилам эксперимента, озвученным экспериментатором. Но это только в том случае, если вы заметите (и осознаете) мелькнувшее слово. Если слово загорается на 50 миллисекунд и затем закрывается маской – специальным экраном – на 500 миллисекунд, вы, вероятнее всего, укажете в качестве ответа «стапель» вместо того, чтобы последовать инструкции (Debner and Jacoby, 1994). Обратите внимание, насколько чисто разработан эксперимент: две группы испытуемых, одной группе велят использовать «подсказку», если это правильный ответ, другой группе не велят использовать «подсказку», даже если это правильный ответ. Обе группы получают подсказку, которая светится либо 50 миллисекунд, либо 500 миллисекунд и закрывается маской. Но в случае с 500-миллисекундной подсказкой маска не работает, испытуемые видят ее, могут о ней рассказать, сознают, что подсказка была, и используют ее или воздерживаются от использования в зависимости от указаний. Однако на подсказку длительностью 50 миллисекунд маска действует, испытуемые утверждают, что не видели ее (это стандартное явление «обратной маскировки»). В обоих случаях, при коротком и длинном показе, мозг распознает подсказку, о чем свидетельствуют результаты эксперимента, – короткий показ повышает выбор подсказки в качестве ответа, длительный – снижает. В работе Дехейна и Накаша (Dehaene and Naccache, 2001) отмечено, что «испытуемые неспособны стратегически использовать неосознанную информацию».
Таким образом, я утверждаю, что программы глубинного обучения (до настоящего момента) различают, но не замечают. То есть поток данных, который система принимает в себя, не имеет для нее никакого значения, это просто «пища» для «переваривания». Лишенная движения и необходимости заботиться о себе система не имеет других целей, кроме как увеличения запаса обработанной информации. Watson и другие машины глубинного обучения способны, как и мы, усваивать ноу-хау, основанное на статистических закономерностях, но мы извлекаем их из опыта и способны решать, что искать и зачем, в зависимости от текущих целей. Отсутствие практического разума, интеллекта, направленного на достижение различных, меняющихся, самовоспроизводящихся стремлений, – именно это (пока) отличает действительно впечатляющего своими способностями Watson от настоящих людей. Если когда-нибудь Watson достигнет уровня сложности, с которым он сможет вклиниться в пока человеческую прерогативу рассуждений о причинах и оценок смыслов, он наконец перестанет быть инструментом и превратится в коллегу. И тогда сам Watson, а не создатели программы Watson, обретет право отвечать за свои действия.
Осознавание степени и характера зависимости машин глубинного обучения от человеческого понимания заслуживает дальнейшего исследования. В главе 8 мы обсудили уже смелую критику традиционного ИИ: потенциальные создатели разума, игнорирующие проблему добычи энергии и самозащиты, обрекают себя на создание паразитических систем, фатально зависимых от человеческого присутствия, – они лишь инструменты, не коллеги. Сегодня мы наблюдаем, как у систем ИИ появляется определенная степень понимания, постепенно создавая конкуренцию лучшим человеческим способностям, и это просто потрясающе, но и эти системы паразитируют на человеке, полностью завися от используемого ими огромного наследия человеческого разума. Google Translate не смог бы работать без миллионов отличных переводов, легших в основу его функционирования выполненных людьми, а нечеловеческие знания различных фактов в программе Watson также основаны на миллионах страниц, которые она скачивает ежедневно в Интернете. Перефразируя изречение Ньютона, можно сказать, что эти машины стоят на плечах гигантов, используя все достижения разума, полученные в процессе творческого созидания в прошлом.
Я проиллюстрировал свои выводы посредством задания, которое дал моим студентам после победы программы Watson над Дженнингсом и Раттером в викторине Jeopardy. Я предложил им придумать вопросы, которые поставили бы в тупик Watson, но были бы элементарными для Дженнингса и Раттера (да и любого нормального человека). (Следует отметить, что в викторине правила составлены в пользу Watson. Все вопросы, задававшиеся Watson, были вербальными, ему не нужно иметь ни зрения, ни слуха.) И все возможные тупики, так или иначе, на мой взгляд, были бы связаны с воображением.
Часть тела, которую можно нарисовать на земле, используя рогатку, косой крест и кольцо?
Ответ. Что такое ухо?
Животное, которое превращается в огромное количество растений посредством замены одной буквы.
Ответ. Что такое лис и лес?
Цифра между 0 и 9, из которой могут получиться отличный маленький бассейн и присоединенная к нему джакузи.
Ответ. Что такое 8?
У меня есть примеры и получше, но я не буду публиковать их или выкладывать в Интернет, поскольку Watson может скачать их и использовать в будущем! Watson не нужно собственное воображение, – он может использовать чужое. Обратите внимание, что с этой точки зрения Watson глубоко дарвинистское создание: ни Watson, ни естественный отбор не зависят от способности к предвидению или воображению, поскольку они управляются процессами, которые неустанно и бездумно извлекают информацию, – статистические закономерности, которые могут направлять улучшения дизайна из уже произошедших событий. Они слепы по отношению к тем типам событий, которые не касаются их селективных процессов. Конечно, если действительно нет ничего нового под солнцем, то это никак не ограничение, но человеческое воображение, способность представить себе реальность, которую мы не можем увидеть, просто поднявшись на холм повыше, оказалось способным полностью поменять правила игры, позволив нам творить, создавать проекты, возможности для их реализации, и в итоге предприятия и артефакты, которые никак бы не могли возникнуть сами по себе. Сознательный человеческий разум – это не чудо, не нарушение принципов естественного отбора, но новое расширение его возможностей, подъемное устройство, которое корректирует концепцию эволюционного биолога Стюарта Кауфмана о смежных возможностях: многие области в Пространстве созидания расположены близко к нам, поскольку мы развили способность думать о них и даже искать их, или избегать их. Для Домингоса и других сторонников глубинного обучения остается без ответа вопрос о том, позволит ли изучение достаточно детальной и динамичной теории агентов с воображением и способностью к рассуждениям создать систему (компьютерную программу, Главный алгоритм), готовую генерировать и использовать способности этих агентов, то есть генерировать все морально значимые свойства личности103.
По моему мнению (по-прежнему), глубинное обучение не сможет дать нам – по крайней мере, в ближайшие пятьдесят лет – ничего похожего на «сверхчеловеческий интеллект», который породил столько тревог (Bostrom, 2014; более ранняя работа Moravec, 1988; Kurzweil, 2005; Chalmers, 2010; см. еще ежегодный вопрос Edge world за 2015 год; а также Katchadourian, 2015).
Ускоряющееся развитие искусственного интеллекта, распространяющегося под флагом глубинного обучения, удивило даже многих специалистов в этой области, не только давнишних комментаторов и критиков, таких как я, к примеру. Это давняя традиция – устраивать хайп вокруг искусственного интеллекта, и многие из нас уже привыкли сомневаться в очередном «революционном прорыве» и понижать его вероятность процентов на 70, или даже больше. Однако, когда такие мастера высоких технологий, как Илон Маск, и ученые мирового уровня, как сэр Мартин Рис и Стивен Хокинг, начинают поднимать тревогу, утверждая, что искусственный интеллект вот-вот приведет нас к катаклизму и полному исчезновению человеческой цивилизации, приходит пора пересмотреть привычки и обуздать подозрения. Я сделал это и пришел к выводу, что мое мнение не изменилось, но стало чуть более осторожным, чем прежде. Я всегда утверждал, что «мощный ИИ» «возможен в принципе», – однако рассматривал его вероятность как не очень высокую, поскольку стоимость такого проекта была бы слишком высока и не давала бы нам ничего, в чем мы бы реально нуждались. Домингос и другие показали мне, что есть и вполне осуществимые возможности (с технической и экономической точек зрения), которые я недооценивал, тем не менее я по-прежнему думаю, что эта задача на порядок сложнее и масштабнее, чем заявляют лидеры общественного мнения, по причинам, указанным в этой главе и в главе 8 (см. пример с Ньюйоркаботом).
Так что пока судьба человечества, которому угрожает раса сверхинтеллектуальных рабов, меня не беспокоит, но это не значит, что меня вообще ничто не волнует. Я вижу другие, менее драматические, но более вероятные сценарии ближайшего будущего, о которых стоит задуматься и от которых стоит уже сейчас готовиться защититься.
Что с нами будет?
Уже существуют артефакты, а многие другие находятся в стадии разработки, обладающие способностями, превосходящими все людские способности, и они готовы узурпировать наш авторитет экспертов, авторитет, который не ставился под сомнение со времен начала эры созидания. Мы уступим наше превосходство этим артефактам по вполне серьезным практическим и моральным причинам. На мой взгляд, уже сейчас отправку трансатлантического круизного лайнера с пассажирами, но без нескольких GPS-систем, можно считать преступной небрежностью. Навигация по звездам с помощью секстанта, компаса, хронометра и «Морского альманаха» представляется такой же причудой, чем-то вроде хобби, как умение точить косу или управлять упряжкой волов. Тот, кто владеет этими навыками, может приятно проводить время в соответствующей группе единомышленников в Интернете, а любитель старинной навигации – взять с собой древние инструменты и тренироваться с ними в сторонке, в надежде, что вдруг они понадобятся. Но мы не имеем права рисковать человеческими жизнями, игнорируя доступные высокотехнологичные инструменты.
Мы продолжаем учить в школе таблицу умножения и учимся использовать ее для больших чисел (вы владеете умножением в столбик?), еще мы можем делить числа при помощи карандаша и бумаги, но очень малая часть из нас умеет в уме извлекать квадратный корень. Ну и что? Не стоит тратить усилия и мозговые клетки на задачу, которую вы можете решить нажатием нескольких кнопок или спросив Google или Siri. Стандартный ответ на беспокойство, возникающее у родителей детей: должны ли мы обучать их принципам, на которых строятся методы, которые мы сами до сих пор еще можем использовать, – да, для их понимания важен некий минимальный уровень практики, однако мы (вероятно) уже можем выбросить эти принципы из оборота и не загружать детей архаическими трудоемкими приколами. Это просто здравый смысл, но насколько широко его можно распространять?
Например, медицинское образование. Watson – всего лишь одна из многих компьютерных систем, которые начинают превосходить лучших диагностов и специалистов на их собственной территории. Готовы ли вы потакать вашему любимому врачу в его желании сохранить старомодную «интуитивную» диагностику по симптомам, вместо того чтобы положиться на компьютерные системы, доказавшие свою надежность, превышающую надежность визуальных способностей любого специалиста в сотни раз, в поиске редких, едва заметных признаков болезни? Ваш медстраховщик будет обязан отправить вас на тестирование, и ответственные доктора увидят, что должны запретить себе желать стать героями диагностики и отдать ответственность машинам, чьи кнопки они нажимают. Как это изменит подготовку врачей? Позволит ли это им отбросить значительную часть традиционных курсов медицинского образования – анатомию, физиологию, биохимию, вместе со способностью делить в столбик и читать карту? Используй или потеряешь – это практическое правило работает во многих ситуациях и имеет массу положительных последствий. Умеют ли ваши дети читать дорожные карты так же легко, как вы, или они уже зависят от GPS, чтобы попасть из пункта в пункт? Насколько мы должны беспокоиться о собственной растущей зависимости от умных машин?
До сих пор еще существует довольно четкая граница между машинами, которые помогают нам усилить «периферийные» интеллектуальные возможности (восприятие, алгоритмические вычисления, память), и машинами, которые претендуют на замену наших «центральных» интеллектуальных способностей, нашего понимания (включая воображение), способности планировать, принимать решения. Ручные калькуляторы, системы GPS, компьютерная графика Pixar для интерполяции кадров, расчета теней, добавления текстуры и тому подобное; и ПЦР и метод CRISPR в генетике – все они явно находятся на периферии, несмотря на то что еще недавно выполняемые ими задачи требовали весьма серьезных познаний. Мы можем прогнозировать расширение границ их применения, превращения все большего количества когнитивных задач в компьютерную рутину, и это замечательно до тех пор, пока мы понимаем, где эти границы проходят. Это реальная опасность, я полагаю, что на самом деле наше место властителей судеб займут не машины, которые намного умнее нас, а это мы рискуем переоценить способность наших инструментов к пониманию, уступив им власть преждевременно, задолго до достижения ими нужного уровня компетентности.
Существуют способы укрепить эти границы, даже если мы тем самым сузим пространство и сделаем их заметными всем. На нашу территорию постоянно будут вторгаться инновации, и если мы изучим ошибки прошлого, то поймем, что каждый шаг вперед будет даваться все дороже. Для подобной ситуации существуют и противоядия, которые нам следует запасти заранее. Известно, что люди быстро принимают интенциональную позицию по отношению ко всему, что производит на них впечатление умного, вдобавок по умолчанию предполагается, что интенциональность – это рациональность (или понимание), поэтому необходимо предпринять конкретные усилия, чтобы показать людям, что следует умерить свою доверчивость при взаимодействии с антропоморфными системами. Во-первых, мы должны разоблачать и высмеивать любой беспричинный антропоморфизм в компьютерных системах: миленькие, почти человеческие голоса, всякие прикольные заигрывания. Общаясь с компьютером, вы должны понимать, что общаетесь с компьютером. Те системы, в которых намеренно скрыты сокращения пути расчета или провалы некомпетентности, должны быть признаны мошенническими, а их создатели должны идти под суд за намеренное совершение преступления и создание искусственного интеллекта, который они пытались выдать за человека.
Мы должны поощрять развитие традиций скромной ответственности, когда рекламные ролики сопровождаются обязательным списком пределов, недостатков, непроверенных вероятных сбоев и других источников когнитивных иллюзий (это правило обязательно сегодня для фармацевтических компаний, которые должны сопровождать свою продукцию почти комически длинными списками известных побочных эффектов всякий раз, как они начинают рекламировать свою продукцию по телевизору). Тестирование, определяющее пределы понимания на основе теста Тьюринга, должно стать новейшей практикой, поощряющей людей гордиться своими способностями распознавать мошеннический прием в машине, точно так же, как они гордятся способностью распознать обманщика на рынке. Кто может найти самый быстрый и надежный способ обозначить границы для интеллектуальных инструментов? (Оказывается, что, обучая детей толерантности и вежливости в общении с незнакомыми людьми, мы получаем в придачу и не совсем желательные скрытые последствия: они становятся уязвимыми пользователями целой кучи способных к вербализации «ложных посредников», с которыми они сталкиваются в Сети. Они должны усвоить, что с этими ничего не чувствующими «помощниками» надо проявлять агрессию и невежливое любопытство.)
Мы должны надеяться, что новые когнитивные протезы будут по-прежнему разрабатываться в качестве паразитов, инструментов, но не сотрудников. Их единственной «врожденной» целью, заложенной в них создателями, должен стать конструктивный и прозрачный ответ на запросы пользователя. Причина для беспокойства может появиться в машинах глубинного обучения, которые способны постепенно научиться угадывать, в чем мы, их пользователи, возможно, нуждаемся, и овладеть способностью скрывать от нас «воображение». Мы уже сталкиваемся с неудобствами, доставляемыми автоматической «коррекцией» того, что наш дивайс принимает за «орфографические ошибки», и многие из нас даже отключают порой эти функции, поскольку неверное толкование наших намерений встречается все еще довольно часто. Но мы имеем дело с пока всего лишь верхним слоем полупонимания.
Существуют и другие источники сложностей в области последних разработок, которые требуют комментариев. Google разработал программу, которая улучшила поисковую систему, автоматически выясняя, что пользователь действительно хотел узнать, вводя символы в строку поиска (http:// googleblog.blogspot.com/2010/01/helping-computers-understandlanguage.html). Это весьма полезная вещь во многих ситуациях, но не во всех. Как отметил Дуглас Хофстадтер в открытом письме бывшему студенту, работавшему в то время в Google над этим проектом:
Меня беспокоит и глубоко расстраивает тот факт, что Google покушается на вещи, от которых я завишу в повседневной жизни, постоянно.
Когда я ставлю что-то в кавычки в строке поиска Google, я всегда предполагаю, что это будет воспринято буквально, и тому есть серьезная причина. Например (только один пример из многих), как внимательный писатель, я постоянно стараюсь найти лучший способ выразить что-либо на том или ином языке, и поэтому я очень часто сравниваю два предполагаемых выражения друг с другом, чтобы понять, какое из них встречается чаще. Это очень важно для меня, так я узнаю нечто новое о стилистике письма. Если Google не будет принимать мои выражения такими, какие они есть, но позволит себе вставлять другие слова, чтобы заменить то, что я написал, я почувствую себя полностью обманутым и введенным в заблуждение и не смогу понять реальное значение той или иной фразы. Это очень огорчительно для меня.
Я хочу, чтобы машины обладали надежной механикой, а не чем-то ускользающим от выполнения моего конкретного задания. Предполагаемый в машине «интеллект» может быть полезным временами, но может и чудовищно мешать и даже угрожать, и для меня лично искусственный интеллект (я использую слово «искусственный» в смысле «фальшивый», «не настоящий»), который в наши дни запихивают буквально во все дивайсы, стал ужасной помехой.
Поэтому я не просто не в восторге от того, что творит ваша группа, я реально обеспокоен этим. Это еще одна попытка сделать механические устройства ненадежными. Вы просите Google сделать Х, предполагая, что он именно Х и сделает, а он на самом деле делает Y, поскольку «думает», что это то, что вам нужно на самом деле. Меня эта попытка угадать мои мысли ужасно раздражает и даже пугает, поскольку она никогда не бывает успешной и даже близкой к правильному смыслу. Я хочу, чтобы машины оставались надежными, механическими, чтобы я точно знал, с чем имею дело. Я не хочу, чтобы они старались «обхитрить» меня, поскольку все, чего они добьются, это введут меня в заблуждение и запутают меня. Это совершенно элементарно, но почему-то полностью игнорируется Google’ом (или, по крайней мере, вашей командой). Я думаю, что это огромная ошибка (в частной переписке, 2010, с Abhijit Mahabal).
По крайней мере, подобные системы должны бы (1) заранее предупреждать, когда они стараются изображать «телепатов» вместо того, чтобы оставаться «механическими» устройствами и (2) предлагать пользователям возможность выключить нежелательное «понимание» точно так же, как вы можете отключить контроль орфографии. Закон о «строгой ответственности» мог бы обеспечить необходимый стимул для проектировщиков: всякого, кто использует ИИ систему для принятия решений, способных повлиять на жизнь и благополучие людей, следует обязать пройти обучение и предупреждать о серьезном уровне ответственности по аналогии с пользователями любого другого опасного и мощного оборудования; поэтому в интересах разработчиков быть предельно скрупулезными, проявлять здоровый скептицизм и регулярно проверять результаты своих действий, как если бы они работали для себя. Косвенным путем это вдохновит создателей новых систем делать их прозрачными и максимально скромными, поскольку пользователи будут иметь право привлечь их к ответственности за халатность или за что-то и похуже.
Можно также внедрять постепенно политику, которая могла бы помочь удержать под контролем наши когнитивные обязанности. Можно придумывать технологию, «делающую нас сильнее»: для этого есть два пути – путь бульдозера и путь «Наутилуса». Первый – это путь из серии «сила есть, ума не надо», а второй учит создавать уникальную личную защиту. Большая часть программного обеспечения, которая повысила наши когнитивные способности, относилась к первому типу, от телескопов до микроскопов для секвенирования генома и новых программ глубинного обучения. А могут ли существовать программы «а ля Наутилус» для повышения способностей индивидуальных пользователей? На самом деле еще как могут, еще в 1985 году мы с программистами Стивом Барни и Стивом Коэном создали в Университете Тафтса студию программного обеспечения для учебных программ, главной задачей которой была разработка «протезов для воображения», программ, которые развивали воображение студентов, обнаруживая педагогические недоработки и узкие места, стимулируя учащихся создавать гибкие, динамичные, точные модели сложных явлений, таких как популяционная генетика, стратиграфия (интерпретация геологического строения различных слоев), статистика и информатика. Нашей целью было создание систем, изучив которые студент мог бы улучшить свое понимание и способности к интенсивным самостоятельным исследованиям. Возможно, что сегодня приходит время более масштабных проектов, которые могли бы помочь людям научиться думать креативно и точно о тех сложных явлениях, которые буквально окружают их, сделать людей независимыми, самостоятельно мыслящими, понимающими пользователями эпистемологических протезов, готовыми к развитию, а вовсе не пассивными некритичными потребителями любых технологических продуктов, что попадаются им под руку.
* * *
Мы рассмотрели некоторые инновации, которые заставили нас отказаться от идеи великого творения, которая долгое время царила в умах представителей нашего вида. Другие идеи еще ждут своего часа. В течение тысячелетий мы руководствовались мыслью, высказанной в знаменитом изречении Фейнмана: «То, что я не могу создать, я не могу и понять». Однако не так давно наша изобретательность встала на скользкий путь: мы обнаружили себя создающими вещи, которые мы понимаем лишь частично, а они, в свою очередь, могут создавать вещи, которые мы не понимаем вовсе. Поскольку некоторые из этих вещей обладают потрясающими возможностями, мы рискуем начать сомневаться в ценности понимания – или, по крайней мере, в его исключительности. «Понимать – это так старо, архаично, олдскульно! Кому это надо – что-то понимать, когда мы можем использовать замечательные штуки без каких-либо усилий?»
Существует ли достойный ответ на этот вопрос? Нам нужно нечто большее, чем традиции, если мы хотим защитить идею, что понимание является благом и само по себе, независимо от того, приносит ли оно какие-либо косвенные блага, и по практическим соображениям, чтобы мы могли продолжать жить жизнью, имеющей значение. Философы, и я в том числе, скорее всего, придут в ужас от перспективы будущего без понимания. Сократ сказал: «Неисследованная жизнь не стоит того, чтобы жить», и еще с тех времен мы полагали совершенно очевидным, что все большее понимание всего представляет собой нашу главную профессиональную цель, если не вообще высшую человеческую цель. Но как сказал другой философ, Курт Байер, недавно покинувший нас, «писать о подробностях исследования жизни – занятие не для каждого». Многие люди вполне довольны своим положением потребителей технологий и медицины, научных исследований и художественного творчества и не особенно стремятся понять, как все эти «чудеса» были созданы. Неужто принять эту сверхцивилизованную жизнь и доверить умным артефактам управление нашим благополучием – столь ужасно?
Сам я не могу придумать убедительный аргумент, почему понимание столь ценно для нашего внутреннего состояния, – хотя лично я нахожу его одним из величайших удовольствий жизни, – однако я думаю, что следует сохранять и расширять человеческое понимание и защищать его от активно развивающихся отдельных разновидностей искусственного интеллекта глубинного обучения, и этому есть вполне серьезные практические причины. Артефакты могут ломаться, и немногие понимают их достаточно хорошо, чтобы суметь починить или заменить чем-то другим для выполнения насущных задач, и вполне вероятна ситуация, когда мы все можем оказаться в отчаянном положении. Многие люди уже заметили, что у некоторых наших высокотехнологичных устройств весьма ограничен запас запчастей, да и людей, способных их заменять, не так уж много. Новый принтер с функцией сканера стоит дешевле, чем починка старого. Проще его просто выбросить. Операционные системы для персональных компьютеров следуют той же логике: когда ваше программное обеспечение выходит из строя, не стоит пытаться диагностировать его или найти ошибку, рыться в поисках сбоя, который возник неизвестно откуда; перезагрузите компьютер и обновите его, и ваши любимые программы будут извлечены из безопасного хранилища в памяти и заменят дефектные копии. Но как далеко может зайти этот процесс?
Рассмотрим типичный случай доверия технологиям без понимания. Плавный ход автомобиля – одно из удовольствий жизни; он способен домчать вас туда, куда нужно, вовремя, надежно, и в большинстве случаев поездка проходит классно, с музыкой, кондиционером, в комфорте, а GPS указывает вам путь. Мы склонны воспринимать автомобиль как нечто само собой разумеющееся, атрибут развитого мира, доступное средство передвижения. Мы строим планы, предполагая, что, естественно, автомобиль будет рядом. Однако стоит автомобилю сломаться, как ход жизни серьезно нарушается. Если вы не учились всерьез на механика, вам придется попасть в зависимость от сети эвакуаторов, механиков, автомобильных дилеров и тому подобного. В один прекрасный момент вам приходится продать свою переставшую быть надежной машину и начать строить все заново с другой моделью. Жизнь идет вперед, беспокойства временно позади.
Но что насчет огромной системы, которая делает такую жизнь возможной: хайвеи, нефтеперерабатывающие заводы, страховые компании, банки, рынки, правительство? Наша цивилизация двигалась гладко, преодолев несколько серьезных крахов, тысячи лет, и постоянно росли ее сложность и мощь. Может ли она развалиться? Да, может, но к кому мы обратимся за помощью, чтобы вернуться на прямую дорогу? Мы не можем купить новую цивилизацию, если эта рухнет, поэтому лучше все-таки нам периодически подвергать ее серьезному техосмотру. Кто же, как вы думаете, заслуживает звания механика для этой задачи? Политики, судьи, банкиры, промышленники, журналисты, профессора – лидеры общества, короче говоря, больше похожи на среднего автолюбителя, чем вам хотелось бы думать: они вносят свою скромную лепту в хитроумное устройство, но пребывают в блаженном неведении относительно всех сложностей, от которых зависит целостность системы. По мнению экономиста и мыслителя-революционера Пола Сибрайта (Paul Seabright, 2010), оптимистичное туннельное зрение, которое свойственно им в их деятельности, не является ни прискорбным, ни исправимым, наоборот, это благоприятный фактор. Это распределение частичного понимания не случайно. Весь комплекс социального устройства, определяющий во многом нашу жизнь, зависит от нашей близорукой уверенности, что его структура прочна и не нуждается в нашем внимании.
В одном из пассажей Сибрайт сравнивает нашу цивилизацию с термитником. Они представляют собой артефакты, чудесные и удивительно разработанные, в которых один удивительный замысел громоздится на другой, возвышаясь над ландшафтом, на котором они возведены, и представляют собой результат труда огромного количества существ, трудящихся вместе. И термитник, и цивилизация представляют собой продукты эволюционных процессов, которые создали и сформировали этих существ, и в обоих случаях конструкторские инновации, определившие поразительную устойчивость и эффективность, были не результатом работы отдельного существа, но счастливым результатом почти полностью бессознательных, слепых усилий отдельных существ, продолжавшихся из поколения в поколение. Однако существуют и глубокие различия между людьми и термитами. Человеческое сотрудничество представляет собой очень хрупкий и удивительный феномен, кардинально отличающийся от практически бессознательного сотрудничества термитов, практически не имеющий прецедентов в природе, уникальное свойство с уникальной родословной, возникшее в ходе эволюции. Оно зависит, как мы уже заметили, от нашей способности взаимодействовать друг с другом в «пространстве причин», как выразился Уилфрид Селларс. Сибрайт полагает, что сотрудничество основано на доверии, чем-то вроде почти невидимого социального клея, который делает возможным как великие, так и ужасные проекты, и доверие на самом деле не является «природным инстинктом», жестко встроенным эволюцией в наш мозг. Оно появилось относительно недавно104. Доверие – побочный продукт социальных условий, которые одновременно и содействуют ему, и сами развиваются в результате его действия. Мы подняли себя на головокружительные высоты цивилизации, и наши естественные эмоции и другие инстинктивные реакции не всегда подходят к нашим новым обстоятельствам.
Цивилизация – это продолжающаяся непрерывно работа, и пора оставить попытки понять ее на свой страх и риск. Подумайте о термитнике. Мы, наблюдатели-люди, можем оценить его совершенство и сложность извне, за пределами нервной системы его обитателей. Мы можем стремиться достичь такого же олимпийского взгляда на наш собственный мир, и такое отстранение дано только людям благодаря наличию воображения. Если мы не добьемся в этом успеха, то рискуем разрушить наши собственные драгоценные творения, несмотря на благие устремления. Двойная эволюция, генетическая и культурная, создала в нас способность познавать самих себя. Но несмотря на несколько тысячелетий существования в условиях постоянно расширяющегося творческого созидания, мы продолжаем болтаться в море загадок и проблем, многие из которых созданы нашими собственными усилиями понять, и среди них есть опасности, которые могут прервать наши или наших потомков поиски еще до того, как мы удовлетворим собственное ненасытное любопытство.
Наконец-то дома
И вот завершается наше путешествие от бактерий к Баху и обратно. Оно было долгим и непростым, путь наш проходил сквозь нагромождения препятствий, по районам, где гуляют только редкие философы, и через местности, философами атакуемые и избегаемые учеными. Я предложил вам захватить с собой некоторые противоречащие интуиции идеи и попытался показать вам, как они могут осветить наш путь. И сейчас я попробую подвести итог основным путевым находкам и напомнить вам, почему именно они стали опорными моментами нашего пути.
Мы начали с проблем разума и поляризации ответов Декартом. С одной стороны, науки о материи, движении и энергии, объяснение с их помощью феноменов жизни и эволюции; с другой – близко знакомое, но глубоко таинственное и интимное явление сознания. Как залечить эту нанесенную дуализмом рану? Для решения этой проблемы в качестве первого шага я предложил рассмотреть странную инверсию Дарвина, революционное понимание того, что вся структура биосферы может быть и должна быть результатом работы слепых, бессознательных, бесцельных процессов естественного отбора. Разум для нас перестал быть причиной всего остального.
Эволюция путем естественного отбора может совершенно бездумно обнаруживать причины без аргументов, свободно плавающие рациональности, которые объясняют, почему отдельные части живых существ устроены так, а не иначе, отвечая сразу на оба вопроса: почему и зачем? Дарвин предоставил первый пример понимания без разумения, заключенный в самом процессе естественного отбора. А затем странная инверсия причинности Тьюринга стала примером и рабочей основой для использования иных возможностей, другой разновидности умения без разумения: компьютеры, в отличие от человека, для которого они были созданы, не понимают технологию, которую они столь успешно используют. На свете оказалось очень много всякого, что осуществляется очень умело, но без всякого понимания, – к примеру, термитники или скачущие антилопы, – и это стало новой загадкой: для чего же существует понимание и как смог появиться человеческий разум, такой как у Баха или Гауди? Более пристальный взгляд на компьютеры, разработанные для обработки информации и решения задач, которые раньше были доступны лишь выдающимся мыслителям, позволил обнаружить различие между восходящими процессами созидания термитов и процессом самого естественного отбора и, наконец, нисходящими процессами творческого созидания. Это привело нас к идее о том, какую ценность может представлять для нас информация о процессе создания (дизайна), о том, что она стоит того, чтобы быть украденной, скопированной и тому подобное. Шенноновская великолепная теория информации прояснила основной принцип – различие, которое создает различие – и создала для него теоретическую основу и способ измерения количества информации, но нам необходимо двигаться дальше, чтобы понять, какова ценность различий и почему так важно оценивать их количественно.
Разнообразные процессы дарвиновской эволюции не одинаковы, некоторые из них «более дарвиновские», чем другие, но не менее реальные и не менее важные для их конкретной ниши, поэтому очень важно быть дарвинистом по отношению к дарвинизму. Дарвиновские пространства Годфри-Смита представляют собой замечательный мыслительный инструмент, который помогает нам отстроить не только взаимосвязи между развитием различных видов в процессе их эволюции, но и процесс эволюции самой эволюции, в которой некоторые линии с течением времени дедарвинизируются.
Вернувшись к загадке, как наш мозг, созданный из миллиардов нейронов, возник без какой-либо контрольной и направляющей силы и развился в человеческий разум, мы изучили процесс децентрализованного, распределенного контроля нейронов, оснащенных всем необходимым для заботы о самих себе, включая и разновидность блуждающих нейронов, освободившихся от прежней роли послушных, одомашненных слуг под давлением отбора, вызванного новой особенностью окружающей среды: возникновением культурных захватчиков. Стремящиеся к воспроизводству слова и другие мемы спровоцировали процесс адаптации, изменения структуры мозга в ходе коэволюционного процесса. Как только передача культурных практик закрепилась как главная поведенческая инновация у нашего вида, она не только стала причиной важных изменений в нейронной архитектуре мозга, но и внесла новшества в окружающую среду в виде тысяч гибсоновских возможностей, которые обогатили онтологии человеческих существ и вызвали, в свою очередь, изменение давления отбора в сторону новых адаптационных приобретений, мыслительных инструментов, обеспечивших отслеживание новых возможностей. Культурная эволюция сама эволюционировала от случайного, ненаправленного поиска в сторону более эффективного созидательного процесса, целенаправленного и обусловленного, зависящего от понимания участников: интеллектуальных творцов. Человеческое понимание требует внушительного развития мыслительных инструментов. Культурная эволюция дедарвинизировалась сама, посредством собственных плодов.
Эта точка зрения позволяет нам рассматривать явленную нам картину мира в удобной терминологии Уилфрида Селларса как некий особый вид артефакта, созданный частью за счет генетической эволюции, частью – за счет эволюции культурной, как потрясающе эффективную иллюзию пользователя, помогающую испытывающим влияние времени организмам ловко двигаться по жизни, используя (сверх)упрощения, создающие картину мира, в котором мы живем, заметно отличающуюся от научной картины, к которой мы прибегаем, чтобы объяснить возникновение явленной картины. И здесь мы сталкиваемся с еще одной инверсией причинности, описанной Дэвидом Юмом в ходе объяснения наших представлений о причинно-следственных связях. Таким образом, мы можем воспринимать человеческое сознание как иллюзию пользователя, не представленную в несуществующем картезианском театре, но созданную репрезентативной деятельностью мозга в сочетании с соответствующими реакциями на эту деятельность («и что тогда происходит?»).
Это закрывает брешь, картезианская рана прикрыта, но пока это только набросок чрезвычайно важного объединения нашего времени. Набросок, тем не менее, достаточно детален, чтобы показать, что человеческий разум, каким бы разумным и понимающим он ни был, не является самой мощной когнитивной системой, которую только можно вообразить, люди-творцы уже достигли важного прогресса в создании машин глубинного обучения, использующих восходящие процессы и доказывающих в очередной раз правоту Второго правила Орджела: эволюция умнее нас. Как только мы осознаем дарвиновские перспективы, мы поймем, что наше текущее состояние как отдельного человека, так и общества несовершенно и непостоянно. Мы можем в один прекрасный день вернуть планету нашим родственникам-бактериям, и они продолжат свой скромный, восходящий стиль созидания. Или мы можем продолжить развиваться в созданной нами окружающей среде из артефактов, которые продолжат по-своему делать большую часть трудной когнитивной работы в эпоху постинтеллектуального созидания. Это уже не просто коэволюция мемов и генов, это созависимость нисходящих мыслительных процессов нашего разума и восходящих бессознательных способностей нашего животного мозга. И если наше будущее повторит траекторию нашего прошлого – того, что мы частично можем контролировать, – наш искусственный интеллект продолжит зависеть от нас, особенно если мы станем более осторожными в нашей зависимости от него.
