Глава 10
Технологические пророчества и недооцененная каузальная сила идей

На протяжении всей своей карьеры, анализировал ли он язык, отстаивал ли реалистическую биологию разума или изучал человечество через призму гуманистических идей Просвещения, психолог Стивен Пинкер признавал и защищал натуралистическое понимание Вселенной и вычислительную теорию разума. Пожалуй, он – первый международно признанный интеллектуал, которого общество оценило за пропаганду эмпирического взгляда на язык, разум и человеческую природу.

«Дарвин позволил вдумчивому наблюдателю естественного мира обойтись без креационизма, – говорит он, – а Тьюринг и другие исследователи обеспечили вдумчивому наблюдателю мира когнитивного обходиться без спиритуализма».

В спорах о рисках ИИ Пинкер выступает против пророчеств о неминуемой гибели и всеобщего уныния, отмечая, что подобные взгляды формируются худшими из наших психологических предубеждений – в частности, тиражируемых средствами массовой информации: «Сценарии стихийных бедствий очень просто разыгрывать в свободной от вероятностей зоне нашего воображения, и они всегда находят отклик у обеспокоенной, технофобной или очарованной видением катастрофы аудитории». Отсюда, если вспоминать историю, ящик Пандоры, Фауст, «Ученик чародея», Франкенштейн, демографическая катастрофа, истощение ресурсов, HAL, ядерное оружие в чемоданчике, ошибка 2000 года и истребление мира нанотехнологической серой слизью. «Характерной особенностью дистопий об ИИ, – подчеркивает Пинкер, – является проецирование узкой альфа-самцовой психологии на концепцию интеллекта… Да, в истории порой возникают деспоты-мегаломаньяки или серийные убийцы-психопаты, но это плоды естественного отбора, формирующего чувствительные к тестостерону цепи у определенных видов приматов, а вовсе не неизбежная особенность интеллектуальных систем».

В очерке ниже Стивен восхваляет убежденность Винера в силе идей перед нашествием технологий. Как удачно выразился сам Винер, «опасность машины для общества исходит не от самой машины, а от человека, который ею управляет».

Искусственный интеллект доказывает правоту одной из величайших идей в истории человечества: речь о том, что абстрактное царство знания, разума и цели не подразумевает elan vital, нематериальной души или чудесных сил нервной ткани. Скорее, оно может быть связано с физическим царством животных и машин благодаря концепциям информации, вычислений и контроля. Знание можно объяснить как накопление образцов материи или энергии, находящихся в систематических отношениях с состояниями мира, математическими и логическими истинами и друг с другом. Мышление же можно объяснить как трансформацию этого знания посредством физических операций, которые предназначены для сохранения указанных отношений. Цель может быть объяснена как способ контроля операций для осуществления изменений в мире на основании несоответствий между текущим и целевым состояниями. Мозг, плод естественной эволюции, представляет собой всего-навсего наиболее привычную систему, которая создает интеллект через информацию, вычисления и контроль. Разработанные человеком системы, способные к обретению интеллекта, подтверждают предположение, что для объяснения здесь достаточно понятия обработки информации, – то есть, как выразился покойный Джерри Фодор, подтверждают вычислительную теорию разума.

Исходная работа для авторов настоящего сборника – книга «Человеческое применение человеческих существ» Норберта Винера – зафиксировала это интеллектуальное достижение, одним из творцов которого был сам Винер. К неочевидному прорыву середины XX столетия, подарившему нам вычислительную теорию разума, причастны также Клод Шеннон и Уоррен Уивер, которые объяснили знания и коммуникацию через информацию. Следует воздать должное и Алану Тьюрингу с Джоном фон Нейманом за объяснение интеллекта и мышления с точки зрения вычислений. Что касается Винера, он объяснил загадочный мир целей, задач и целеполагания через техническую концепцию обратной связи, управления и кибернетики (в первоначальном значении слова – «управления» работой системы, ориентированной на достижение целей). «По моему мнению, – писал он, – физическое функционирование живых индивидуумов и работа некоторых новейших коммуникативных машин совершенно параллельны друг другу в аналогичных попытках контролировать энтропию посредством обратной связи». То есть борьба с угрожающей жизни энтропией является конечной целью человечества.

Винер применил идеи кибернетики к третьей системе – обществу. Законы, нормы, обычаи, средства массовой информации, форумы и институты сложного сообщества могут рассматриваться как каналы распространения информации и обратной связи, которые позволяют обществу справляться с беспорядками и реализовывать поставленные цели. Этот тезис прослеживается красной нитью по всей книге; вполне возможно, что сам Винер считал его главным. В своем объяснении обратной связи он писал: «Этот комплекс поведения обычно игнорируется средним человеком; в частности, он не играет заметной роли в житейском анализе социальных процессов; однако мы вправе изучать как физическое реагирование индивида, так и органическое реагирование самого общества».

Действительно, Винер придал научное обоснование предположению о том, что в истории, политике и обществе имеют значение идеи. Убеждения, идеологии, нормы, законы и обычаи, регулируя поведение людей, которые их разделяют, способны формировать общество и влиять на ход исторических событий точно так же, как физические явления воздействуют на структуру и эволюцию Солнечной системы. Говорить, будто идеи – а не только климат, ресурсы, география или вооружение – могут формировать историю, вовсе не значит впадать в мистику. Перед нами утверждение о каузальности информации, которая создается в человеческом мозге и передается через сети связи и обратной связи. Детерминистские теории истории, признают ли они первопричиной технологии, климат или географию, опровергаются каузальной мощью идей. Среди последствий этих идей можно выделить непредсказуемые колебания и смещения, возникающие благодаря положительной обратной связи – или неправильной калибровке отрицательной обратной связи.

Анализ общества с точки зрения распространения идей также предоставил Винеру трибуну для социальной критики. Здоровое общество – такое, которое наделяет людей средствами к продолжению жизни вопреки энтропии – позволяет информации, воспринимаемой и распространяемой его членами, порождать обратную связь и влиять на способы управления этим обществом. Дисфункциональное общество опирается на догму и на власть навязывать контроль сверху вниз. Потому Винер называл себя «сторонником либерального мировоззрения» и посвятил бо́льшую часть моральной и риторической критики в своей книге (издания 1950 и 1954 годов) осуждению коммунизма, фашизма, маккартизма, милитаризма и авторитарной религии (в особенности католицизма и ислама), а также предупреждениям о том, что политические и научные институты постепенно становятся все более иерархическими и замкнутыми.

Книга Винера, кроме того, есть ранний образчик произведения в жанре, который уверенно обретает популярность, – жанре технического пророчества. Причем речь не о пророчестве в смысле простого прогноза, а о предсказании в духе Ветхого Завета, мрачном предостережении относительно катастрофического возмездия за упадок. Винер рассуждал об ускорении гонки ядерных вооружений, о технологических изменениях, которые навязываются обществу без учета благополучия человека («Будучи учеными, мы должны знать, какова природа человека и каковы присущие ему цели»), и о том, что сегодня называется проблемой выравнивания ценностей: «подобная джинну машина, способная к обучению и принятию решений на базе этого обучения, никоим образом не окажется обязанной принимать те решения, какие приняли бы мы сами или какие были бы приемлемыми для нас». В более трагическом по тону издании 1950 года он предупреждал об угрозе нового фашизма со стороны machine a gouverner.

Техническое пророчество Винера побуждает вспомнить романтическое восстание против «угрюмых сатанинских мельниц» промышленной революции и, возможно, даже более ранние примеры – судьбу Прометея, Пандоры и Фауста. Сегодня же оно звучит особенно остро. Многочисленные Иеремии (сам Винер, например) от науки и техники бьют тревогу по поводу нанотехнологий, генной инженерии, больших данных и, прежде всего, искусственного интеллекта. Ряд авторов настоящего сборника характеризуют книгу Винера как яркий пример технического пророчества и стараются превзойти своего предшественника в живописании грядущих ужасов.

Тем не менее две моральные темы «Человеческого применения человеческих существ» – либеральная защита открытого общества и дистопийный страх перед разгулом технологий – остаются вполне актуальными. Общество с каналами обратной связи, максимизирующее человеческое процветание, будет располагать нужными механизмами и сможет адаптировать их к изменяющимся обстоятельствам таким образом, чтобы они приспосабливали технологии к человеческим целям. Здесь нет ничего идеалистического или мистического; как подчеркивал Винер, идеи, нормы и институты сами по себе суть технологии, фрагменты информации, распределенные в сознании. Вероятность того, что машины принесут с собой новый фашизм, следует сопоставить с ценностью либеральных идей, институтов и норм, отстаиваемых Винером на протяжении всей книги. Проблема современных антиутопических пророчеств состоит в том, что они игнорируют существование этих норм и институтов или сильно недооценивают их каузальную силу. В результате возникает технологический детерминизм, чьи мрачные предсказания неоднократно опровергались реальным ходом событий. Цифры «1984» и «2001» могут служить наглядными примерами.

Рассмотрим два случая. Технические пророки нередко предупреждают о «всевидящем оке»: дескать, правительство, располагающее нужными технологиями, будет отслеживать и контролировать всю частную переписку ради выявления инакомыслия и подрывной деятельности, тем самым препятствуя сопротивлению государственной власти. Сразу вспоминаются оруэлловские экраны; недаром еще в 1976 году Джозеф Вейценбаум, один из мрачнейших технических пророков всех времен, советовал моим студентам не заниматься автоматическим распознаванием речи, поскольку единственным мыслимым применением этой технологии является государственное «всевидящее око».

Считая себя убежденным либертарианцем, которого сильно беспокоят нынешние угрозы свободе слова, я не теряю сон из-за технологических достижений, будь то интернет, видео или искусственный интеллект. Дело в том, что почти все различия в свободе мысли во времени и пространстве обусловлены различиями в нормах и институтах, они почти никак не определяются различиями в технологиях. Безусловно, можно вообразить гипотетическое сочетание злобных тоталитаристов и передовых технологий, но в реальном мире мы должны бдительно следить за нормами и законами, а не за технологиями.

Рассмотрим изменения во времени. Если, как намекал Оруэлл, прогрессирующие технологии действительно являются основным фактором стимулирования политических репрессий, то западные общества становились бы все более и более сдержанными в свободе слова на протяжении столетий, причем резкое ухудшение наблюдалось бы во второй половине XX столетия и в XXI веке. Но история развивалась иначе. Именно тогда, когда коммуникация осуществлялась перьями и чернильницами, происходили аутодафе, а мыслителей сажали в тюрьму или под нож гильотины. В годы Первой мировой войны, когда вошел в моду телеграф, Бертрана Рассела посадили под замок за публичное выражение пацифистских взглядов. В 1950-е годы, когда компьютеры занимали целые помещения, сотни либеральных писателей и ученых страдали от преследований. В нашем же технологически развитом и гиперсвязанном XXI веке 18 процентов профессоров социальных наук привержены марксизму; телевизионные комики вечерами высмеивают президента Соединенных Штатов Америки как расиста, извращенца и недалекого деревенщину; а главная угроза со стороны технологий для политического дискурса заключается в трансляции слишком большого количества сомнительных заявлений, а не в подавлении просвещенных умов.

Теперь рассмотрим вариации мест. Западные страны на технологической передовой неизменно получают самые высокие баллы по показателям демократии и соблюдения прав человека, тогда как многие отсталые, но крепкие государства числятся в отстающих, и там нередко преследуют или убивают критиков правительства. Отсутствие корреляции между технологиями и репрессиями не выглядит удивительным, если проанализировать каналы распространения информации в любом человеческом обществе. Чтобы диссиденты обрели влияние, они должны передать свое послание по широкой сети и по любым доступным каналам связи – через памфлеты, выступления, посиделки в кафе и пабах, через сарафанное радио. Эти каналы объединяют влиятельных диссидентов в широкую социальную сеть, что позволяет легко их идентифицировать и выследить. Это тем более верно, когда диктаторы заново открывают для себя проверенную временем практику натравливания людей друг на друга, наказывая тех, кто не осуждает и не наказывает других.

По контрасту, технологически развитые общества уже давно имеют возможность устанавливать подключенные к интернету камеры наблюдения, контролируемые государством, в каждом баре и каждой спальне. Но этого не происходит, потому что у демократических правительств (даже у нынешней американской администрации с ее вопиющими антидемократическими потугами) нет ни воли, ни средств для реализации этой возможности на практике, нет возможности следить за всеми, кто привык свободно выражать вслух свои мысли. Порой меры профилактики ядерного, биологического или кибертерроризма побуждают спецслужбы к таким шагам, как несанкционированный обществом сбор метаданных мобильных телефонов, но эти малоэффективные действия, скорее, игра, чем полицейский произвол, не оказывают существенного влияния ни на безопасность, ни на свободу. По иронии судьбы, технические пророчества отчасти стимулируют подобные шаги. Распространяя панику по поводу потенциальных экзистенциальных угроз, скажем, ядерных бомб в чемоданах или биологического оружия, изготовленного подростками в гараже, они оказывают давление на правительства, и тому приходится демонстрировать, что оно печется о благе и безопасности Америки.

Дело не в том, что политические свободы могут позаботиться о себе самостоятельно, а в том, что наибольшую угрозу представляют собой сети идей, норм и институтов, которые обеспечивают (или не обеспечивают) обратную связь для коллективных решений и понимания. В отличие от химерических технологических угроз, сегодня реальной угрозой выглядит гнетущая политкорректность, которая погубила ряд озвученных гипотез, отпугнула многих умных людей от интеллектуального труда и спровоцировала яростную реакцию. Другая реальная угроза состоит в сочетании прокурорского надзора и обширной книги законов, полной двусмысленных формулировок. В результате каждый американец невольно совершает «три преступления в день» (как называется книга либертарианца Харви Сильвергейта) и находится под угрозой тюремного заключения всякий раз, когда этого может захотеться правительству. Именно такое оружие делает всесильным оруэлловского Большого Брата, а отнюдь не экраны повсюду. Лучше бы направлять усилия против правительственных программ надзора и контроля на борьбу с чрезмерными юридическими полномочиями власти.

Другой фокус многих современных технических пророчеств – это искусственный интеллект, будь то в оригинальной научно-фантастической версии обезумевших компьютеров, которые порабощают человечество в неудержимом стремлении к мировому господству, или в более новой версии, согласно которой они порабощают нас случайно, двигаясь к некой цели, поставленной перед ними, и не обращая внимания на побочные эффекты вроде угрозы благополучию людей (проблема выравнивания ценностей, обобщенная Винером). Обе эти угрозы кажутся мне химерическими, порожденными узкотехнологическим детерминизмом, который пренебрегает сетями информации и управления в интеллектуальных системах, наподобие компьютера, человеческого мозга или человеческого же общества.

Страх перед подчинением коренится в скверно прописанной концепции интеллекта, которая больше восходит к Великой Цепи Бытия и ницшеанской воле к власти, чем к винерскому анализу интеллекта и цели с точки зрения информации, вычислений и контроля. В этих жутких сценариях интеллект изображается как всесильное, подвластное страстям нечто, в разной степени присущее его носителям. У людей его больше, чем у животных, а у искусственного интеллектуального компьютера или робота будет больше, чем у людей. Поскольку мы, люди, использовали свой умеренный объем интеллекта для одомашнивания или истребления менее разумных животных (и поскольку технологически развитые общества обыкновенно порабощают или уничтожают технологически примитивные), отсюда делается вывод, что сверхразумный ИИ поступит с нами точно так же. Раз ИИ будет мыслить в миллионы раз быстрее нас и воспользуется своим суперинтеллектом для рекурсивного улучшения своего сверхразума, то, стоит включить, его уже будет не остановить.

Но эти сценарии основываются на путанице, на смешении интеллекта с мотивацией, убеждений с желаниями, умозаключений с целями, вычислений, описанных Тьюрингом, и контроля, описанного Винером. Даже изобрети мы однажды сверхчеловечески разумных роботов, зачем им желать порабощения своих хозяев или покорения мира? Интеллект есть способность применять новые средства для достижения цели. Но сами цели ставятся независимо от интеллекта: быть умным – не то же самое, что чего-то хотеть. Так уж вышло, что интеллект Homo Sapiens является продуктом дарвиновского естественного отбора, который, по сути, представляет собой процесс конкуренции. В нашем мозге мышление связано с такими целями, как доминирование над конкурентами и накопление ресурсов. Но будет ошибкой принимать участок в лимбической системе определенного вида приматов за интеллект как таковой. Нет такого закона сложных систем, который гласил бы, что интеллектуальные агенты обязательно превращаются в безжалостных мегаломаньяков.

Второе заблуждение состоит в том, чтобы воспринимать интеллект как безграничный континуум возможностей, как чудесный эликсир, способный решить любую проблему и достичь любой цели. Это заблуждение приводит к бессмысленным вопросам – скажем, когда «ИИ превзойдет человеческий уровень мышления», – и порождает фантазии о богоподобном «общем искусственном интеллекте» (ОИИ), всеведущем и всемогущем. На самом деле интеллект есть совокупность гаджетов, программных модулей, которые усваивают (через программирование) знания о том, как добиваться различных целей в разных случаях. Умеют находить пропитание, завоевывать друзей и оказывать влияние на других, выстраивать отношения с будущими партнерами по браку, воспитывать детей, перемещаться по миру и преследовать другие человеческие цели и развлекаться. Компьютеры можно запрограммировать на решение ряда перечисленных задач (например, на распознавание лиц) и проигнорировать часть из них (то же умение очаровывать будущую жену), а также на решение задач, неподвластных людям (скажем, моделирование климата или сортировка миллионов учетных записей). Задачи, как видим, различны – и различны знания, необходимые для их решения.

Однако вместо того, чтобы признать значимость знания для интеллекта, антиутопические сценарии уподобляют общий искусственный интеллект будущего демону Лапласа, мифическому существу, которому ведомы положение и скорость каждой частицы во Вселенной и которое вставляет эти параметры в уравнения, выражающие физические законы, чтобы рассчитывать состояния всего на свете в любой момент в будущем. По многим причинам демона Лапласа никогда не воссоздать в кремнии. Реальная интеллектуальная система должна получать информацию о беспорядочном мире объектов и людей, взаимодействуя с одной областью одновременно, причем длительность цикла взаимодействия определяется скоростью, с которой разворачиваются события в физическом мире. Это одна из причин того, почему понимание не подчиняется закону Мура: знание приобретается путем формулирования объяснений и проверки на соответствие реальности, а не ускорением выполнения алгоритма. Поглощение информации из интернета также не принесет всеведения: большие данные по-прежнему конечны, зато вселенная знаний бесконечна.

Третья причина скептического отношения к фантазиям о внезапном господстве ИИ над миром заключается в том, что мы слишком уж всерьез воспринимаем инфляционную фазу той шумихи, которая нас сегодня окружает. Несмотря на несомненный прогресс в машинном обучении, особенно в области многослойных искусственных нейронных сетей, современные системы искусственного интеллекта далеки от уровня общего интеллекта (даже если допустить обоснованность этой концепции). Они ограничиваются выполнением задач, связанных с обработкой четко заданных входных данных и выведением строго сформулированных ответов там, где доступны «обучающие наборы» информации гигантского масштаба, где успех опознается немедленно и точно, где среда обработки не изменяется и где нет необходимости в ступенчатых, иерархических или абстрактных рассуждениях. Многие успехи ИИ достигнуты не благодаря лучшему пониманию работы интеллекта, а благодаря мощности более быстрых микросхем и большим данным, позволяющим обучать машины на миллионах примеров и обобщать результаты для новых данных. Каждая система представляет собой невежественного мудреца, малоспособного справляться с вызовами, решения которых не предусматривалось ее программистами, и едва способного на решение задач, под которые ее создавали. Скажу банальность – ни одна из этих систем не пыталась захватить лабораторию или поработить программистов.

Даже вздумай система искусственного интеллекта проявить волю к власти, без сотрудничества людей она останется бессильным мозгом в чане. Суперинтеллектуальная система в своем стремлении к самосовершенствованию должна каким-то образом создавать более быстрые процессоры для работы, моделировать инфраструктуру питания и изготавливать роботизированные устройства для контакта с миром; все это невозможно, если потенциальные жертвы-люди не передадут ей контроль над обширными секторами инженерного пространства. Конечно, всегда можно вообразить некий компьютер Судного дня, злонамеренный, наделенный универсальными возможностями, всегда включенный и защищенный от несанкционированного доступа. Способ борьбы с этой угрозой прост: не создавайте такой компьютер.

А что насчет новой угрозы ИИ, проблемы выравнивания ценностей, которую Винер описывает в притчах об обезьяньей лапке, джинне и царе Мидасе? Суть проблемы в том, что желающий начинает сожалеть о непредвиденных побочных эффектах своего желания. Опасаются, что мы поставим перед системой ИИ некую цель, а затем нам придется беспомощно стоять в стороне и наблюдать, как система неуклонно и буквально реализует собственную интерпретацию этой цели, игнорируя все другие наши интересы. Если поставить ИИ цель поддержания конкретного уровня воды в водохранилище, система способна затопить город, не заботясь о людях, которые в нем живут. Если поставить перед ней цель производить скрепки для бумаг, она может превратить в скрепки всю материю в достижимой части Вселенной, в том числе наше имущество и наши тела. Если попросить ИИ максимизировать человеческое счастье, он способен влить в нас все произведенные запасы дофамина внутривенно или «перемонтировать» мозг, чтобы нам доставляло счастье сидеть в кувшинах, или, если его научили представлению о счастье через изображения улыбающихся лиц, заполнить Галактику триллионами наноизображений смайликов.

К счастью, эти сценарии сами себя опровергают. Они зависят от допущения, что (1) люди настолько одарены от природы, что могут создать всеведущий и всемогущий искусственный интеллект, но настолько глупы, что уступят ему власть во Вселенной, даже не проверив, как он работает; и что (2) ИИ окажется настолько умен, что сможет постичь, как преобразовывать химические элементы и «перемонтировать» мозг, но настолько глуп, что учинит хаос вследствие элементарных грубых ошибок и непонимания. Возможность выбора действия, которое наилучшим образом соответствует конфликтующим целям, не является неким дополнением к интеллекту, которое инженеры могут забыть установить и протестировать; это сам интеллект. Как и способность интерпретировать интенции носителя языка по контексту высказываний.

Отбрасывая фантазии вроде цифровой мании величия, мгновенного всеведения и совершенного знания и контроля за каждой частицей во Вселенной, мы обнаруживаем, что искусственный интеллект схож с любой другой технологией. Он разрабатывается поэтапно, предназначается для удовлетворения многочисленных условий, тестируется перед внедрением и постоянно дорабатывается в целях эффективности и безопасности.

Последний критерий особенно важен. Культура безопасности в развитых обществах являет собой образец гуманизирующих норм и каналов обратной связи, которые Винер называл могучей каузальной силой и которые он считал оплотом борьбы с авторитарным или эксплуататорским применением технологий. На рубеже XIX и XX столетия западные общества сталкивались с шокирующим числом увечий и смертей в результате несчастных случаев на производстве, в быту и на транспорте, но в следующее столетие ценность человеческой жизни значительно выросла. Как следствие, правительства и инженеры на основании обратной связи для статистики несчастных случаев внедрили бесчисленные правила, техники и конструктивные изменения, призванные сделать технологии более безопасными. Тот факт, что некоторые нормативные акты (например, использование мобильного телефона рядом с газовым насосом) затрагивают нелепую склонность к риску, означает, что нынешнее общество одержимо безопасностью, и это принесло фантастические преимущества: показатели промышленного, бытового и транспортного травматизма снизились более чем на 95 процентов (а кое-где и на 99 %), если взять за максимум первую половину XX века. Впрочем, технические пророки продолжают сулить пришествие злонамеренного или «забывчивого» искусственного интеллекта, как если бы этого важного изменения не случилось, как если бы инженеры и вправду передали полный контроль над физическим миром непроверенным машинам, не обращая внимания на последствия такого шага для человека.

Норберт Винер объяснял идеи, нормы и институты с точки зрения вычислительных и кибернетических процессов, понятные для науки и каузально мощные. Он характеризовал человеческие красоту и ценность как факторы, которые встречаются «только локально и временно, в противостоянии с Ниагарским водопадом возрастающей энтропии», и выражал надежду, что открытое общество, руководствуясь обратной связью от человеческого благополучия, сможет наращивать эту ценность. К счастью, его вера в каузальную силу идей способствовала тому, что он меньше беспокоился об угрозе со стороны новых технологий. По его словам, «опасность автоматизации для общества исходит не от самой машины, а от ее применения человеком». Лишь памятуя о каузальной силе идей, мы в состоянии точно оценить угрозы и возможности, которые сулит современный искусственный интеллект.