Глава 18
Станут ли компьютеры нашими повелителями?

Венки Рамакришнан – биолог, лауреат Нобелевской премии, среди множества научных исследований которого выделяется работа по атомной структуре рибосомы – по сути, огромной молекулярной машины, считывающей наши гены и производящей белки. Такое исследование невозможно без мощных компьютеров, а интернет значительно упростил труд исследователя и, как говорит сам Венки, существенно облегчил доступ к международным ресурсам: «Когда я рос в Индии, чтобы отыскать какую-либо новую научную книгу, приходилось ждать полгода или год после ее публикации на Западе… Журналы поступали по почте через несколько месяцев после выхода в свет. По счастью, сам я с этим не сталкивался, потому что покинул Индию в девятнадцать лет, но я знаю, что индийские ученые регулярно испытывали такие сложности. Зато сегодня они получили доступ к информации одним нажатием кнопки. Более того, у них есть доступ к лекциям. Они запросто могут слушать Ричарда Фейнмана. Это была моя мечта в юности. Они теперь могут просто посмотреть на Ричарда Фейнмана в сети. Это несомненное достижение. И все же… наряду с изрядными преимуществами [интернета] ныне мы вынуждены обрабатывать огромное количество шума. Вокруг столько людей, рассуждающих на псевдонаучном жаргоне и выдающих собственные маловнятные идеи за научные!»

Будучи президентом Королевского общества, Венки также обеспокоен проблемой утраты доверия общественности к научным результатам, основанным на фактических данных, и проблемой доверия ученых к трудам коллег, подразумевающего тщательную проверку выводов друг друга. Оба вида доверия оказались под угрозой вследствие концепции «черного ящика», лежащей в основе глубинного обучения. «Это [размывание доверия] будет только усугубляться по мере возрастания объемов данных, скажем, в исследованиях генома, популяционных исследованиях и прочих областях, – говорит он. – Как нам, научному сообществу, разобраться в происходящем и донести до общественности понимание того, что на самом деле представляет собой наука, каковы научные критерии надежности и неопределенности, как отличить правильное от неправильного в науке?»

Мой бывший коллега Жерар Бриконь любил пошутить, что интеллект на основе углерода – просто катализатор эволюции интеллекта на основе кремния. Довольно долго и голливудские фильмы, и Иеремии от науки предрекали и предрекают нашу возможную капитуляцию перед повелителями-компьютерами. Но мы до сих пор ждем наступления сингулярности, приход которой, похоже, все откладывается и откладывается.

В некотором смысле компьютеры уже завладели миром, ведь они помогают нам практически во всем – от банкинга, путешествий и оплаты коммунальных услуг до самого интимного личного общения. Я могу бесплатно переговариваться по видеосвязи со своим внуком в Нью-Йорке. Помню свои первые впечатления от фильма «2001: Космическая одиссея» (1968): зрители потешались над нелепо дешевой стоимостью видеозвонка из космоса (1 доллар 70 центов), тогда как в США в те времена минута междугороднего разговора стоила 3 доллара.

Впрочем, простота, удобство и вычислительная мощь, пришедшие с компьютерами, одновременно кажутся чем-то вроде фаустовской сделки, ибо она подразумевает постепенную утрату контроля за происходящим. Компьютеры мешают нам делать то, что мы хотим. Попытайтесь сесть на рейс, прибыв в аэропорт, когда компьютерная система авиакомпании не работает, как это случилось недавно с системой «Бритиш эйруэйз» в Хитроу. Самолеты, пилоты и пассажиры были на месте, средства управления воздушным движением функционировали – но в разрешении на вылет рейсам этой авиакомпании отказывали. Еще компьютеры заставляют нас делать то, что нам не требуется – через длинные списки рассылки и распространение миллионов образцов спама по электронной почте, которую мы, люди, вынуждены разбирать, сортировать и утилизировать.

Ладно, это еще не беда. В прошлом мы программировали компьютеры, используя алгоритмы, понятные для нас – по крайней мере, в принципе. Поэтому, когда машины совершали нечто удивительное (скажем, побеждали чемпиона мира по шахматам Гарри Каспарова), мы могли заявить, что программа-победительница разработана с использованием алгоритмов, основанных на нашем собственном понимании игры, в данном случае – на опыте и советах ведущих гроссмейстеров. Машины просто быстрее выполняют расчеты методом грубой силы, обладают огромным объемом памяти и не подвержены ошибкам. В одной статье победа описывалась не как торжество компьютера («тупой машины»), а как триумф сотен программистов над Каспаровым как индивидом.

Ныне способ программирования меняется на глазах. После долгой подготовки наконец-то заработало машинное обучение. Большая часть изменений произошли, когда программисты бросили попытки предвидеть и закодировать все возможные обстоятельства ситуаций и вместо этого позволили компьютерам обучаться самостоятельно, через глубинные нейронные сети, основанные на моделях обучения нашего собственного мозга. Машины используют вероятностные методы «обучения» на большом количестве данных, могут распознавать шаблоны и самостоятельно делают выводы. Особенно эффективным методом оказалось обучение с подкреплением, когда компьютер без предварительного объяснения определяет, какие именно переменные важны и какие из них следует учитывать для достижения какой-то цели. Этот метод в некотором смысле имитирует наше обучение в детстве. Результаты применения новых подходов поистине поразительны.

Подобная программа глубинного обучения использовалась для того, чтобы научить компьютер играть в го – хотя всего несколько лет назад еще считалось, что эта игра не для ИИ, поскольку крайне трудно оценить успешность принимаемых в ней решений. Бытовало мнение, что лучшие игроки в го во многом полагаются на интуицию и чувство позиции, а потому такое мастерство требует особого – человеческого – интеллекта. Но программа AlphaGo, разработанная компанией DeepMind, после обучения на тысячах высокоуровневых партий в го, сыгранных людьми, а также миллионов партий с собой, смогла превзойти лучших игроков-людей за короткое время. Еще более удивительно, что «родственная» ей программа AlphaGo Zero, обучавшая с нуля через поединки с собой, оказалась сильнее версии, изначально разработанной для игр с человеком! Как будто люди мешали компьютеру раскрыть свой истинный потенциал. Этот же метод удалось недавно обобщить: стартовав с нуля, всего за двадцать четыре часа похожая шахматная программа AlphaZero смогла одолеть самые популярные на сегодняшний день «обычные» шахматные программы, которые, в свою очередь, брали верх над лучшими шахматистами-людьми.

Прогресс не ограничивается играми. Нынешние компьютеры значительно лучше распознают изображения и синтезируют голоса. Опухоли на рентгенограммах они обнаруживают быстрее и надежнее большинства людей. Медицинская диагностика и персонализированная медицина существенно улучшаются. Поездки на беспилотных автомобилях сделают дорожный трафик безопаснее. Моему внуку, возможно, никогда не придется приобретать водительские права, потому что вождение автомобиля сделается похожим на сегодняшнее катание на лошадях – это хобби для немногих. Опасные занятия, например добыча полезных ископаемых, перейдут в ведение компьютеров, как и утомительная рутинная работа. Правительство начнет предлагать более адресные, персонализированные и эффективные государственные услуги. ИИ может произвести революцию в образовании, анализируя потребности каждого ученика и открывая возможности индивидуального обучения, дабы любой ребенок мог обучаться с оптимальной для себя скоростью.

Наряду с этими огромными преимуществами, конечно же, существует немало потенциальных рисков. При избытке личных данных в базах компьютеры будут знать о нас больше, чем мы сами; вопрос относительно того, кто владеет данными о нас, приобретет первостепенное значение. Более того, решения, основанные на данных, будут, несомненно, отражать социальные предубеждения: даже предположительно нейтральная интеллектуальная система прогнозирования кредитных рисков, скажем, способна заключить, что простая принадлежность к тому или иному социальному меньшинству повышает вероятность дефолта по кредиту. Разумеется, подобное решение легко оспорить и исправить, но реальная опасность заключается в том, что мы не всегда осознаем искажение данных и вполне можем в своем неведении с ним смириться.

Машинное обучение также может зафиксировать наши собственные предубеждения. Когда «Нетфликс» или «Амазон» пытаются посоветовать, что мы можем посмотреть или купить, это практическое следствие машинного обучения. В настоящее время такие советы порой выглядят забавно, но со временем, при увеличении обработанных данных, они станут намного точнее, будут укреплять наши предрассудки, симпатии и антипатии. Будем ли мы сожалеть о случайной встрече, которая убедила нас изменить наши взгляды, заставила взглянуть на мир иначе, внушила новые (и противоречивые) идеи? Социальные медиа, учитывая их влияние на выборы, служат особенно яркой иллюстрацией того, как можно углубить пропасть между людьми, занимающими принципиально разные концы политического спектра.

Возможно, мы уже достигли стадии, когда большинство правительств не в силах сопротивляться совокупному влиянию ряда могучих транснациональных корпораций, которые контролируют нас и наше цифровое будущее. Сегодня борьба между ведущими компаниями – это действительно борьба за контроль над персональными данными. Корпорации наверняка воспользуются своим громадным влиянием, чтобы не допустить государственного регулирования данных, поскольку их интерес заключается именно в беспрепятственном контроле над данными. Более того, они обладают финансовыми ресурсами, позволяющими нанимать наиболее талантливых сотрудников, и тем самым еще надежнее укрепляют свою власть. Мы охотно делимся персональными данными ради «бесплатного сыра», будь то почтовая служба Gmail или Фейсбук, но, как отметил журналист Джон Ланчестер в «Лондон ревью оф букс», если что-то предлагается бесплатно, значит, продукт – это мы. Настоящими клиентами корпораций являются те, кто платит за доступ к знаниям о нас, чтобы убедить нас покупать их товары или оказывать влияние иными способами. Говорят, что можно избавиться от монополии на контроль над данными, если лишить компании, которые их используют, права на владение данными. В итоге люди сохранят доступ к своим персональным данным (и эта модель будет стимулировать конкуренцию, так как люди смогут свободно и добровольно передавать свои данные тем компаниям, которые предлагают более качественные услуги). Кроме того, злоупотребление данными не сводится исключительно к корпорациям: в тоталитарных государствах и даже в номинально демократических государствах правительства знают о гражданах столько, сколько Оруэллу и привидеться не могло. Использование этой информации далеко не всегда прозрачно, а помешать ему достаточно сложно.

Перспектива применения ИИ в военных целях выглядит пугающе. Можно вообразить интеллектуальные системы, спроектированные для автономных действий на основе данных в реальном времени, причем быстрее аналогичных систем противника; это чревато катастрофическими войнами. Такие войны не обязательно будут обычными или даже ядерными. Учитывая важность компьютерных сетей для современного общества, гораздо более вероятно, что войны ИИ развернутся в киберпространстве. А вот их последствия могут быть реальными до отвращения.

Несмотря на описанную утрату контроля, мы упорно продолжаем создавать мир, в котором ИИ будет повсюду: люди не смогут сопротивляться удобствам, которые он сулит, и его власти, а корпорации и правительства не устоят перед соблазном обрести конкурентные преимущества. Но перед нами встают важные вопросы о будущем работы как института. Компьютеры уже причастны к значительному сокращению рабочих мест для синих воротничков за последние несколько десятилетий, но до недавнего времени многим рабочим местам белых воротничков – занятиям, которые «доступны исключительно людям», – как будто ничто не угрожало. Внезапно ситуация резко изменилась. Бухгалтеры, юристы и медицинские работники, финансовые аналитики и биржевые маклеры, турагенты – все эти профессии (едва ли не бо́льшая часть «традиционных» занятий белых воротничков) исчезнут благодаря развитию комплексных программ машинного обучения. Нас ждет будущее, где фабрики производят товар при минимальном человеческом участии, а сам поток товаров преимущественно автоматизирован, как и предоставление многих услуг. Что же останется людям?

В 1930 году, задолго до появления компьютеров, не говоря уже об искусственном интеллекте, Джон Мейнард Кейнс опубликовал статью «Экономические возможности наших внуков», где говорилось, что повышение производительности труда позволит обществу удовлетворять все свои потребности за счет пятнадцатичасовой рабочей недели. Еще Кейнс, наряду с ростом творческого досуга, предсказывал конец денег и богатства как цели в жизни:

К сожалению, предсказания Кейнса не сбылись. Хотя производительность труда действительно увеличилась, система – возможно, «исконная» для рыночной экономики – отнюдь не сократила количество рабочих часов человека. Скорее, произошло то, что антрополог-анархист Дэвид Гребер характеризует как появление «мнимых рабочих мест». Такие занятия, как производство предметов первой необходимости, будь то продукты питания, жилье и потребительские товары, удалось во многом автоматизировать, но при этом налицо колоссальное разрастание таких секторов экономики с человеческим «наполнением», как корпоративное право, академическое образование и управление здравоохранением (в отличие от реального обучения, исследований и медицинских практик), управление «человеческим ресурсом» и связи с общественностью, не говоря уже о новых отраслях – например, финансовых услугах, разнообразном телемаркетинге и «дополнительных» секторах так называемой гигномики (экономики временных занятий), которые обслуживают тех, кто слишком занят указанной дополнительной работой.

Как общество собирается справляться со все ускоряющейся ликвидацией множества привычных профессий и нарастающей технологической безработицей? Кое-кто утверждает, что беспокоиться не о чем: мол, ничего страшного не происходит, ведь одновременно появляются новые рабочие места, которых раньше попросту не было; но, как указывает Гребер, эти новые рабочие места не обязательно окажутся прибыльными, а сами занятия – уважаемыми. Понадобилось целое столетие после первой промышленной революции, чтобы большинство людей ощутили улучшение. Эта революция стала возможной только потому, что правительства того времени безжалостно отстаивали права собственности в ущерб трудовым интересам, а большинство людей (женщины поголовно) не имело права голоса. В нынешних демократических обществах население вряд ли готово мириться со столь драматическими потрясениями и верить обещаниям, что «в конце концов» все станет лучше.

Даже радужные перспективы, которые рисует власть, зависят от радикальной перестройки образования и «пожизненного» обучения. Промышленная революция действительно спровоцировала грандиозные социальные перемены, в том числе переход к всеобщему образованию. Но этого не случится до тех пор, пока мы сами не осуществим такой переход, а здесь все упирается в вопросы власти, свободы действий и контроля. Задумайтесь – что ждет, скажем, сорокалетнего таксиста или водителя грузовика в эпоху автономных транспортных средств?

Рассматривается, конечно, концепция универсального базового дохода, который позволит гражданам развивать свои навыки, переобучаться новым профессиям и в целом подготовиться к «достойной» жизни. Однако рыночная экономика, в которой все определяется растущим потребительским спросом, может отторгнуть это нововведение. Кроме того, почти общепризнано, что осмысленная работа необходима для того, чтобы человек осознавал свое достоинство и ощущал удовлетворение. Значит, другая возможность состоит в том, что огромные средства, полученные за счет повышения производительности труда благодаря автоматизации, можно направить на создание рабочих мест в отраслях, по-прежнему требующих человеческого труда и творчества – например, в искусстве, музыке, социальной работе и других общественно полезных занятиях. В конечном счете признание одних рабочих мест достойными и прибыльными, а других – мнимыми, будет, по сути, личным делом каждого и станет варьироваться от общества к обществу и меняться с течением времени.

До сих пор я рассуждал о практических последствиях развития и внедрения ИИ. Как ученого меня беспокоит потенциальная потеря понимания. Сегодня мы накапливаем данные с невероятной скоростью. В моей лаборатории, к примеру, эксперименты генерируют более терабайта данных в сутки. Эти данные накапливаются, анализируются и обрабатываются, благодаря чему их удается свести к интерпретируемому результату. Но за всеми процедурами анализа данных стоит наша уверенность в том, что нам известна суть происходящего. Мы знаем, что именно делают программы, поскольку это мы разрабатывали алгоритмы, лежащие в их основе. Так что итоги компьютерной деятельности выглядят для нас интеллектуально постижимыми.

Новые программы машинного обучения сильно отличаются от своих предшественниц. Распознавая шаблоны посредством глубинных нейронных сетей, они делают некие выводы, логическую цепочку которых мы не в состоянии выявить. Когда они раскрывают некие отношения, мы не понимаем этого, в отличие от ситуаций, когда сами выводим подобные отношения в рамках базового теоретического контекста. Поскольку наборы данных разрастаются, мы уже не в силах анализировать их – даже с помощью компьютеров; скорее, мы склонны целиком полагаться на компьютеры в проведении анализа. Поэтому, если кто-то спросит, откуда мы то-то и то-то узнали, ответ будет простым: машина проанализировала данные и вывела заключение.

Однажды компьютер вполне может предложить нам совершенно новый результат – например, математическую теорему, чье доказательство или даже обоснование никто из людей не сможет понять. Это философское отличие от привычного нам способа заниматься наукой. По крайней мере, от привычного для нас; могут возразить, что мы до сих пор не знаем, как наш собственный мозг делает умозаключения, а потому эти новые способы, не исключено, просто имитируют глубинные человеческие рассуждения. Тем не менее потенциальная потеря понимания вызывает беспокойство.

Несмотря на замечательные достижения в области вычислительной техники, ажиотаж вокруг ОИИ – общего искусственного интеллекта, способного мыслить как человек и, возможно, обрести сознание – представляется мне научной фантастикой, отчасти потому, что мы не понимаем устройства человеческого мозга на таком уровне детализации. Мы не ведаем, что такое сознание, и не в силах научно объяснить даже относительно простые явления – к примеру, как именно запоминаем телефонные номера. Одна эта элементарная ситуация порождает множество вопросов. Откуда мы знаем, что перед нами число? Как мы увязываем число с конкретным человеком, именем, лицом и прочими признаками? Перечисленные, казалось бы, тривиальные вопросы затрагивают все – от познания и памяти верхнего уровня до способов хранения информации в клетках и взаимодействия нейронов.

Более того, это лишь одна из множества задач, с которыми наш мозг справляется без особых затруднений. Машины, без сомнения, смогут выдавать еще более поразительные результаты, но они вряд ли сумеют составить конкуренцию человеческой мысли, человеческому творчеству и ви́дению. Эрик Шмидт, бывший председатель совета директоров компании Google, сказал в недавнем интервью в лондонском Музее науки, что даже робот, умеющий убирать со стола, мыть посуду и ставить ее на полки, станет настоящим прорывом в области ИИ. Объем вычислений, который понадобится при обсчете телесных движений, необходимых для перебрасывания мяча или занятий слаломом, поистине колоссален. Мозг же легко их проделывает, а также позволяет нам заниматься математикой и музыкой и изобретать такие игры, как шахматы и го (а не просто в них играть). Мы склонны недооценивать сложность и креативность человеческого мозга и его удивительные возможности.

Чтобы ИИ достиг большего человекоподобия, требуется тесное взаимодействие исследователей и практиков машинного обучения и нейробиологов. Это уже происходит. Некоторые передовые представители современного сообщества практиков машинного обучения – Джеффри Хинтон, Зубин Гахрамани и Демис Хассабис – получили образование в сфере когнитивной нейробиологии и хотя бы отчасти обязаны своими успехами стремлению смоделировать поведение человеческого мозга в алгоритмах. Да и сама нейробиология активно развивается. Разработаны разнообразные инструменты наблюдения за нейронами, вдобавок позволяющие генетически ими манипулировать и отслеживать происходящее на входе в режиме реального времени. В нескольких странах реализуются исследовательские программы, направленные на изучение функционирования мозга. Достижения в области ИИ и нейробиологии, кажется, идут рука об руку и подстегивают друг друга.

Многие ученые-эволюционисты и такие философы, как Дэниел Деннет, отмечают, что человеческий мозг представляет собой плод миллиардов лет эволюции. Человеческий интеллект – вовсе не особенность, какой мы его считаем, а просто еще один механизм выживания, отличный от наших пищеварительной и иммунной систем, тоже поразительно сложных. Интеллект возник потому, что нам требовалось осмыслять мир вокруг, планировать наперед и тем самым справляться со всевозможными неожиданностями – и выживать. Однако, если вспомнить Декарта, мы, люди, определяем собственное существование способностью мыслить. Поэтому неудивительно, что в антропоморфическом отношении наши опасения по поводу ИИ отражают эту веру в особость человеческого интеллекта.

Но если вернуться назад и оценить историю развития жизни на Земле, мы поймем, что отнюдь не являемся наиболее приспособленным видом. Если нам и суждено когда-либо очутиться в подчиненном положении, нашими властителями станут те или иные старейшие формы жизни на планете – скажем, бактерии, способные жить где угодно, от Антарктиды до глубоководных термальных источников, температура которых выше точки кипения, или в кислотной среде, мгновенно растворяющей человеческую плоть. Потому, когда меня спрашивают, куда мы идем, я отвечаю, что нужно ставить этот вопрос в более широком контексте. Я не знаю, какое будущее принесет ИИ, превратит ли он людей в своих слуг или вовсе уничтожит – или окажется полезным и желанным расширением наших возможностей и обогатит нашу жизнь. Но я вполне уверен, что компьютеры никогда не станут повелителями бактерий.