60. Китайская комната
В конце 1970-х гг. вокруг ИИ – искусственного интеллекта – поднялась такая шумиха, что его перспективы оказались значительно преувеличены. Не за горами было появление думающих машин! Философ из Беркли Джон Сёрл нисколько не сомневался в этом и предложил мысленный эксперимент, чтобы доказать свою правоту. В 1980 г. он опубликовал статью “Сознание, мозг и программы”, в которой описал знаменитую “Китайскую комнату” – мысленный эксперимент, призванный показать, что создать “сильный” ИИ невозможно. Он отрицал “сильный” ИИ как утверждение, что “должным образом запрограммированный компьютер в буквальном смысле обладает когнитивными состояниями, а следовательно, программы объясняют человеческое сознание” (Searle 1980, p. 417). Позже он уточнил свое определение: “Должным образом запрограммированный цифровой компьютер, получающий соответствующие входные данные и дающий верные выходные данные, наделен сознанием в той же степени, что и человек” (Searle 1988, p. 136). Статья 1980 г. была опубликована во флагманском журнале когнитивной науки Behavioral and Brain Sciences, а BBS, как его называют, славится своим особым форматом: в каждом номере журнала печатается несколько длинных “целевых статей”, сопровождаемых десятками комментариев экспертов отрасли и ответами авторов. Поскольку BBS – решительно междисциплинарный журнал, как правило, эксперты представляют разные дисциплины, что дает читателю возможность увидеть любопытный срез мнений. В зависимости от того, насколько целевая статья понравилась экспертам – и понравилась ли она им вообще, – можно сделать вывод, стоит ли учитывать ее в своей работе. Кроме того, можно многое узнать о трудностях междисциплинарной коммуникации, в ходе которой уверенные в своей правоте люди упорно не слышат друг друга или участвуют в серьезнейшей академической борьбе. Целевая статья Сёрла спровоцировала волну опровержений, включая и мое (Dennett 1980), в котором я ввел термин “насос интуиции”, чтобы показать, в чем ошибка его мысленного эксперимента.
Термин предложил я, но благодарить за его появление нужно Дага Хофштадтера, поскольку термин родился в ходе наших дискуссий об эссе Сёрла, которые Даг с комментариями перепечатал в нашей антологии “Глаз разума” (Hofstadter, Dennett 1981). Мы сочли предложенный Сёрлом мысленный эксперимент весьма любопытным, поскольку он был, с одной стороны, очевидно ошибочным, а с другой стороны, столь же очевидно убедительным и угодным толпе. Как – и почему – он сработал? Мы проанализировали его, прибегнув к обратному проектированию, и Даг предложил “покрутить все регуляторы”, чтобы объяснить его механику. Выдержит ли эта история изменения или же она всецело зависит от деталей, которые должны бы быть факультативными?
С тех пор прошло более тридцати лет, и я вынужден признать, что “Китайская комната” Сёрла не растеряла своей привлекательности и приобрела огромное влияние. Она стала классикой, изучаемой в тысячах университетов и снова и снова обсуждаемой по сей день. Я много лет использовал ее на собственных занятиях и хорошо разобрался в том, как она работает. Теперь я знаю, как показать, что именно с ней не так.
Дело в том, что “Китайская комната”, как я сейчас продемонстрирую, представляет собой дефектный насос интуиции, упорный башмак, который может отключить ваше воображение, если вы не проявите достаточной осторожности. Но прежде всего я хочу сказать, что догадываюсь, что многие из вас сейчас закатывают глаза или даже стонут. Вам не хочется, чтобы я развенчивал этот миф, ведь вывод – создать “сильный” ИИ невозможно, фух! – нравится вам так сильно, что вас вовсе не прельщает перспектива знакомства с педантичной критикой живого, интересного аргумента, который поддерживает вашу отчаянную надежду. Раньше я с презрением относился к такой реакции. Тем из вас, кто реагирует таким образом, нравится, что именитый профессор Беркли приводит знаменитый довод, доказывающий вашу правоту, и вы счастливы поверить ему на слово. Подробности вас не интересуют – важен только вывод. Какое глупое оправдание!
Но затем я поймал себя на этом же и пересмотрел свою категоричную позицию. Признаюсь, я всегда находил квантовую механику несколько отталкивающей и вводящей в заблуждение. Я бы даже предпочел, чтобы она оказалась неправдой! При этом я знаю, что она великолепно справляется с предсказанием и объяснением многих феноменов, включая обыденные явления, например отражение и преломление света и активность белков в сетчатке глаза, благодаря которой мы видим. Квантовая механика – это сердце науки, но понять ее нелегко даже специалистам. Я несколько раз пытался справиться с математикой квантовой механики, но у меня ничего не вышло, поэтому я с интересом, но без какого-либо понимания слежу за научными спорами о ее интерпретации, что, однако, не мешает мне скептически относиться ко многому из того, что говорят по теме предположительно компетентные эксперты. В один прекрасный день я прочитал научно-популярную книгу Марри Гелл-Мана “Кварк и ягуар. Приключения в простом и сложном” (1995), рассчитанную на неспециалистов вроде меня. Мне понравилось, как сурово Гелл-Ман расправляется со всеми мифами и камня на камне не оставляет от наиболее сомнительных представлений, которым каким-то образом удалось завоевать популярность. (Прочитайте главу “Квантовая механика и бред собачий” – и вы поймете, о чем я.) В какой-то момент я поймал себя на мысли “Так их, Мари! Не давай им спуску!” Всемирно известный нобелевский лауреат поддерживал мои предрассудки, используя понятные мне аргументы. Такая квантовая физика была мне по душе! Но потом я подумал: понимаю я в действительности его аргументы – или только вроде как понимаю их? Могу ли с уверенностью сказать, что не иду на поводу у Гелл-Мана? Я надеялся, что не найдется физика, который решит снова растолковать мне все тонкости и продемонстрировать, что я попался в ловушку. Мне так нравились выводы Гелл-Мана, что мне не хотелось копаться в деталях. Я использовал то же самое оправдание.
И все же не совсем. Я добросовестно оцениваю вердикты Гелл-Мана в свете того, что было написано позже (и пока полет нормальный). И я готов признать, что рано или поздно может случиться так, что “здравый смысл” Гелл-Мана, который мне так нравится, окажется очередным обманом воображения. Умоляю вас, попробуйте столь же непредвзято отнестись к моей попытке разоружить и нейтрализовать “Китайскую комнату” Сёрла. Я постараюсь подсластить вам горькую пилюлю.
В 1950 г. Алан Тьюринг предложил тест, который должен был, по его мнению, стать лакмусовой бумажкой для измерения интеллекта машины. Теперь он называется тестом Тьюринга. В ходе него судья беседует с двумя сущностями – компьютером и человеком, – скрытыми из виду и коммуницирующими посредством “телетайпа” (скажем, монитора и клавиатуры). Человек пытается продемонстрировать судье свою истинную человечность, а компьютер пытается заставить судью признать его человеком. Если судья не в состоянии сказать наверняка, кто из них человек, то компьютер (программа) проходит тест Тьюринга и признается не только разумным, но и “сознательным в том же смысле, что и человек”, как выразился в 1988 г. Сёрл. Прохождение теста Тьюринга, по мнению многих специалистов, стало бы доказательством возможности создания “сильного” ИИ. Почему? Они (как и Тьюринг) полагали, что подобную беседу невозможно вести, не понимая ее смысла, а следовательно, успех тестируемого компьютера свидетельствовал бы о том, что машина понимает значения своих слов. Обратите внимание, что тест Тьюринга не отличает – и не может отличить – зимбо от “поистине сознательного” человека, поскольку зимбо с тем же успехом делают все, на что способны сознательные люди. Как замечают многие, утверждение, что проходящая тест Тьюринга сущность не только разумна, но и сознательна, бросает вызов чутью на зомби. Казалось бы, из-за этого тест Тьюринга не может использоваться для проверки сознательности, однако нам не стоит делать выводов, пока мы не разберемся в деталях. Программа, проходящая тест Тьюринга, может обладать лишь характерным для зимбо потоком бессознательного, не имея нашего потока сознания, однако мы только что сказали, что это идет вразрез с чутьем на зомби, которое гласит, что разница между ними принципиальна. Может, программа-зимбо лишь вроде как сознательна? В каком именно отношении она не оправдывает ожиданий? Возможно, свет на это прольет насос интуиции Сёрла: судя по всему, в нем используется доведение до абсурда, дискредитирующее идею о “сильном” ИИ.
Сёрл предлагает нам представить, что он заперт в комнате и вручную моделирует работу огромной программы ИИ, якобы понимающей китайский язык. Он оговаривается, что программа проходит тест Тьюринга, пресекая все попытки человека отличить ее от сущности, понимающей китайский на самом деле. Не знающий китайского Сёрл заперт в комнате и манипулирует цепочками символов в соответствии с инструкцией, (очевидно) не приобретая в процессе способности понимать китайский. Больше в комнате нет ничего, что понимало бы китайский язык. (Комната пуста – в ней находятся только Сёрл и “клочки бумаги”, на которых написаны его инструкции. В точности следуя им, он “вручную моделирует” работу гигантской программы.) Сёрл не понимает китайский, но и (динь!) Сёрл с клочками бумаги тоже не понимает китайский. Следовательно, ничто в китайской комнате не понимает китайский, хотя программа и может вести беседу на уровне, достаточном, чтобы обмануть носителей китайского языка. Подобно компьютеру, Сёрл различает китайские иероглифы исключительно по их форме: и для него, и для компьютера они представляют собой лишь различные бессмысленные “загогулины”, поэтому Сёрл в китайской комнате – это лишь реализация соответствующей компьютерной программы. Эта программа выполняет свою задачу, не понимая китайский, работая хоть на кремниевых чипах, хоть на Сёрле.
Так просто и так убедительно! Разве с этим мысленным экспериментом может быть хоть что-то не так? Увы, да. Когда Сёрл представил его в Беркли, специалисты по компьютерным наукам в ответ привели довод, который Сёрл назвал “аргументом о системе” (Беркли):
Хотя запертый в комнате индивид действительно не понимает происходящего, он представляет собой лишь часть целой системы, а система происходящее понимает. Индивид пользуется толстой книгой с правилами, имеет большое количество бумаги и карандашей для осуществления расчетов, а также располагает “базами данных” с наборами китайских иероглифов. Понимание приписывается не одному индивиду, а всей системе, частью которой он является. [Hofstadter, Dennett 1981, p. 358]
Ответ Сёрла на этот аргумент весьма показателен:
Мне даже немного неловко… потому что эта теория кажется мне невероятной. Мысль заключается в том, что человек может не понимать китайский, но совокупность этого человека и клочков бумаги каким-то образом может его понимать. Мне сложно представить, чтобы хоть кто-то, не пребывающий в плену идеологии, признал эту идею правдоподобной. [Searle 1980, p. 419]
Невероятным Сёрлу показалось не что иное, как фундаментальный прорыв Тьюринга, приведший к появлению идеи компьютера с хранимой в памяти программой! Вся компетентность – в программном обеспечении. Не забывайте, что регистровая машина из главы 24 совсем не понимает арифметику, но регистровая машина в совокупности с программным обеспечением прекрасно справляется с арифметическими действиями. Центральный блок обработки данных вашего ноутбука ничего не знает о шахматах, но, запустив шахматную программу, сможет обыграть вас – и то же самое верно в отношении остальных его великолепных способностей. Описываемая Сёрлом идеология служит стержнем компьютерной науки. Ее основательность демонстрируется повсеместно. Чтобы воспроизвести человеческую компетентность, а следовательно (в итоге), и понимание, необходимо поставить виртуальные машины на виртуальные машины на виртуальных машинах, поскольку сила в системе, а не в аппаратном обеспечении. “Странной логике” Дарвина вторит странная логика Тьюринга (Dennett 2013e): если раньше (до Тьюринга) мы полагали, что человеческая компетентность должна проистекать из понимания (таинственного источника разума), то теперь считаем само понимание эффектом, который достигается (снизу вверх) посредством наслоения компетенций друг на друга.
Вся суть в деталях. Сёрл не говорит читателю, на каком уровне он осуществляет ручное моделирование гигантской программы ИИ. Вот как он сам описывает, что происходит, когда он исполняет программу:
Теперь допустим, что после получения первой партии китайских иероглифов [входных данных] я получаю вторую партию иероглифов вместе с набором правил о сопоставлении второй партии с первой. Правила написаны по-английски, и я понимаю их не хуже любого другого носителя английского языка. Они позволяют мне сопоставить один набор формальных символов с другим набором формальных символов… Теперь допустим также, что я получаю третью партию китайских иероглифов вместе с написанными по-английски инструкциями, позволяющими мне сопоставить элементы из этой партии с символами из первых двух партий, и эти правила объясняют мне, как выбирать определенные китайские иероглифы определенной формы в ответ на определенные формы, предоставленные мне в третьей партии. [Searle 1980, p. 418]
Сёрл противопоставляет это “сопоставление” разных “партий символов” происходящему в тот момент, когда на входе он получает английское предложение или английскую историю и отвечает на родном английском.
Со стороны – с позиции наблюдателя, который читает мои “ответы”, – кажется, что ответы на китайские и на английские вопросы одинаково хороши. Однако в случае с китайским, в отличие от случая с английским, я даю ответы, манипулируя неинтерпретируемыми формальными символами. [Searle 1980, p. 418]
Какой контраст! Но давайте разберемся, о чем Сёрл не говорит. Мы знаем, что он получает свои “наборы правил” (инструкции) на английском, но каковы они? Что-то вроде “прибавьте содержимое регистра 39021192 к содержимому регистра 215845085” (машинного кода) или вроде “определите постоянную длину очереди и задайте ей значение 100” (исходного кода)? Сидит ли Сёрл на низшем уровне, в бешеном темпе осуществляя арифметические действия (триллионы операций в секунду), или же он следует исходному коду программы, реализуемому на много уровней выше? А если он следует исходному коду, может ли он читать комментарии? Лучше бы нет, поскольку официально они не считаются частью программы, но могут предоставить ему множество намеков о том, что происходит (“Здесь осуществляется грамматический разбор предложения, выделяются подлежащие, сказуемые, обстоятельства и определения, в результате чего предложение признается вопросительным, повествовательным, побудительным или восклицательным”, а миллиард операций спустя “обнаруживается игра слов, осуществляется переключение на остроумие…”, после чего подробно описываются миллиарды операций, в ходе которых осознаются отсылки, оцениваются разные варианты ответов [прямо как разные варианты шахматных ходов] и наконец генерируется ответ). Если программа, работу которой вручную моделирует Сёрл, способна вести впечатляющую беседу на китайском, ей нужно сверяться с огромными базами данных, содержащими не только “наборы китайских иероглифов”, как выражается сам Сёрл, но и обиходные знания, доступные носителям китайского, и это лишь минимум необходимой ей информации. Получает ли Сёрл, моделирующий работу программы, намеки на всю эту многослойную когнитивную деятельность, или же она представляется ему сплошной арифметикой?
Подумайте, как Сёрл обработал бы следующий вопрос на английском:
Представьте заглавную букву D и положите ее набок, повернув на 90 градусов против часовой стрелки. Теперь поместите ее поверх заглавной буквы J. О какой погоде вам напоминает получившийся символ?
Теперь представьте, что в разгар работы в китайской комнате Сёрлу дают аналогичную задачу на китайском.
Четвертого июня 2012 г. Sohu Weibo [китайская блог-платформа] заблокировала пост со следующим набором символов. Можете ли вы понять почему?
占占占占人 占占占点 占占点占 占点占占 点占占占 灬占占占
Это настоящие китайские иероглифы (“загогулины” Сёрла), но их последовательность не имеет смысла. Почему власти ее заблокировали? Дело в том, что 4 июня – годовщина бойни на площади Тяньаньмэнь, в ходе которой армия убила сотни протестующих. (“4 июня” значит для китайцев примерно то же, что “11 сентября” для американцев.) Самыми знаменитыми снимками того дня стали фотографии одинокого отважного человека, стоящего перед танками. В цепочке символов видно, как он встает перед четырьмя танками слева, после чего они снова и снова переезжают его и исчезают в правой стороне.
Китайская комната должна “понимать это”, но сам Сёрл ничего не узнает, если только не получит доступ к комментариям к исходному коду, поскольку он не сможет понять, что в данном случае он следовал правилам, чтобы создать “мысленный образ”, обработать его и использовать результат для проверки памяти. Иными словами, прежде чем ответить на вопрос на китайском, система произвела бы набор действий, который поразительно напоминает сознательные действия Сёрла при ответе на вопрос на английском. Можно сказать, что система обладает собственным сознанием, невообразимым для Сёрла, прозябающего в ее моторном отсеке.
Любая программа, способная справиться с тестом Тьюринга, должна производить “мысленные” операции, очень точно имитирующие мысленные операции, осуществляемые нами в ходе разговора. Допустим, например, что интервьюер в тесте Тьюринга решил учить кандидата квантовой физике, используя сократовский метод вопросов и ответов и давая ученику простые задачи. Чтобы поддерживать этот разговор, сидящий в моторном отсеке Сёрл вынужден будет помогать системе справляться со сложными интеллектуальными упражнениями, но сам в итоге останется таким же несведущим в квантовой физике, каким был в начале эксперимента. Система, напротив, будет разбираться в этой теме гораздо лучше, чем до начала теста Тьюринга, поскольку она выполняла упражнения. В этом конкретном случае тест Тьюринга установит в программу новую виртуальную машину – машину простой квантовой физики.
Подобные факты полностью скрываются рисуемым Сёрлом образом “клочков бумаги” и “правил”, которые позволяют ему “устанавливать соответствие” между китайскими иероглифами. Я не утверждаю, что Сёрл намеренно скрыл сложность программы, моделирование работы которой представлял в ходе своего эксперимента, но он явно проигнорировал следствия ее сложности. Если вы представляете эту программу в качестве относительно простого набора правил, то, подобно Бэтсону, представлявшему “частицы хроматина, неотличимые друг от друга и практически гомогенные во всех известных опытах”, вы, вероятно, сочтете заявленные способности программ к пониманию “непостижимыми”, как и способности ДНК.
Смотрите, что мы сделали. Мы повернули регулятор предложенного Сёрлом насоса интуиции и изменили уровень детализации описания исполняемой программы. Уровней всегда много. На высшем уровне способности системы к пониманию нельзя назвать невообразимыми: мы даже можем увидеть, как именно система понимает, что делает. Ответ системы больше не кажется нелепым – он кажется очевидно верным. Это не значит, что ИИ такого типа, который критиковал Сёрл, на самом деле достигает того уровня компетентности, где можно говорить о понимании, или что такие методы, расширенные в соответствии с представлениями исследователей ИИ того времени, могли бы с большой долей вероятности привести к появлению компетенций столь высокого уровня. Это значит лишь то, что мысленный эксперимент Сёрла на самом деле не справляется с задачей, которую, как утверждается, он решает: он не демонстрирует абсолютную невозможность создания “сильного” ИИ.
Можно покрутить и другие регуляторы, но этим не раз занимались в огромном количестве литературы, написанной под влиянием “Китайской комнаты”. Здесь я уделяю основное внимание самому инструменту мышления, а не теориям и предположениям, на которые он был нацелен, и показываю, что этот инструмент дефектен: он убеждает, затуманивая наше воображение, а не используя его должным образом.
