Глава 9
Хозяева, слуги или партнеры?
Поздним весенним вечером в 1992 г. на Центральном вокзале пожилой человек в синей ветровке с надписью New York Times ожидал на платформе поезд в округ Вестчестер. Я работал в Times некоторое время, и меня заинтересовала призрачная фигура. «Вы сотрудник газеты?» – спросил я.
Как оказалось, много лет назад он был наборщиком в Times. В 1973 г. его профсоюз подписал соглашение о постепенном сокращении рабочих мест по мере внедрения компанией компьютеризированных систем печати в обмен на гарантию занятости до выхода на пенсию. Хотя этот человек не работал уже больше десятилетия, он по-прежнему приезжал в типографию на Таймс-сквер и проводил вечера с оставшимися печатниками, пока они работали с завтрашним номером газеты.
Сегодня судьба печатника служит ярким примером того, что происходит с живым трудом под влиянием новой волны автоматизации. Его профсоюз начал бороться с издателями газеты в 1960-е гг. и добился в 1970-е гг. компромиссного соглашения. С тех пор, однако, влияние профсоюзов значительно снизилось. За прошлые три десятилетия доля входящих в профсоюзы работающих американцев сократилась с 20,1 до 11,3 %. Коллективные договоры вряд ли будут играть существенную роль в защите рабочих мест от следующей волны компьютеризации. Печатники и полиграфисты были высококвалифицированными работниками, которые особенно пострадали от появления в 1970-е гг. мини-компьютеров и резкого падения их стоимости по мере перехода с транзисторов на интегральные схемы.
По некоторым данным, рецессия 2008 г. значительно ускорила замещение рабочих автоматизированными системами. Зачем набирать рабочих, если заменяющая их технология стоит дешевле? Отчет, выпущенный в 2014 г. Национальным бюро экономических исследований, подтвердил эту тенденцию, но Генри Сиу, профессор Университета Британской Колумбии и один из авторов отчета, придерживается стандартного кейнсианского представления о технологической безработице. Он объясняет: «В очень отдаленной перспективе технический прогресс хорош для всех, но на более коротких временны́х горизонтах выигрывают не все». Стоит, наверное, напомнить слова Кейнса, который также говорил, что в долгосрочной перспективе все мы умрем.
Статистическая логика Кейнса безупречна, но его экономическая логика вызывает немало критики. Среди научно-технических работников и некоторых экономистов все больше распространяется мнение, что кейнсианские допущения в отношении технологической безработицы (сокращение индивидуальных рабочих мест при сохранении общего объема работы) больше не выполняются. Системы искусственного интеллекта, которые могут двигаться, видеть, осязать и рассуждать, существенно изменяют уравнение создания рабочих мест. Сегодня споры идут не о том, появятся ли системы искусственного интеллекта, а о том, когда это произойдет.
Не исключено, что история докажет правоту кейнсианцев. Современное общество может находиться на грани очередного экономического преобразования, подобного промышленной революции. Возможно, такие социальные факторы, как краудсорсинг и реорганизация трудовых ресурсов, под влиянием интернета преобразуют американскую экономику так, как мы сейчас не можем себе представить. Интернет уже создает новые виды работ вроде «оптимизации поисковых систем», наверняка появятся и другие, связанные с интернетом и неожиданные занятия.
Но если и наступит новый бум занятости, то он все еще за горизонтом. Прогнозы Бюро трудовой статистики показывают, что рост количества рабочих мест в Америке будет прежде всего связан со старением населения, а не с техническими достижениями, которые замещают и создают рабочие места. Бюро предсказывает, что из 15,6 млн рабочих мест, которые появятся к 2022 г., 2,4 млн будут приходиться на секторы здравоохранения и ухода за престарелыми. Бросается в глаза, что рабочие места, основанные на технических достижениях и инновациях, составляют относительно небольшую часть новых видов занятости, при этом разработчики программного обеспечения находятся лишь на 26 строчке со 139 000 новых рабочих мест. Прогнозы Бюро предполагают, что технологии будут не источником экономического роста, а угрозой для всех поддающихся автоматизации видов деятельности и работ, требующих «когнитивных» способностей, от врачей до репортеров и биржевых брокеров.
И все же, несмотря на страхи перед «концом работы», существует и другой взгляд на последствия автоматизации, робототехники и искусственного интеллекта для общества. Конечно, искусственный интеллект и роботы уничтожат огромное количество рабочих мест, но с их помощью можно также расширить возможности человечества. Какой путь будет выбран, зависит исключительно от разработчиков. Тэнди Трауэр когда-то руководил армией разработчиков программного обеспечения в Microsoft Corporation, а теперь работает в тесном офисе в Южном Сиэтле. Его офис с четырьмя комнатами похож на любой другой гаражный стартап Кремниевой долины. Там повсюду печатные платы, компьютеры и роботы. Многие из них – игрушки, но некоторые подозрительно смахивают на образы из фильма «Робот и Фрэнк». Идея создать робота, который может выполнять роль сиделки, имеет прямое отношение к противоречиям между искусственным интеллектом и усилением интеллекта в робототехнике.
Как мы будем заботиться о престарелых? Для некоторых подключение роботов к сфере ухода за пожилыми означает освоение в значительной мере незанятого рынка и дает робототехникам шанс направить исследования на общественное благо. Многие отмечают, что квалифицированных сиделок не хватает, и полагают, что разработка роботов, способных стать компаньонами и сиделками, поможет избавить старость от одной из самых больших проблем – одиночества и изоляции.
В ответ на это говорят, что дело не в нехватке сиделок, а в неготовности общества выделять ресурсы для таких задач, как уход за пожилыми и образование. «Конечно, у нас достаточно сиделок для пожилых. Страна и весь мир страдают от неполной занятости и безработицы, и многие находят, что уход за пожилыми – приносящая удовлетворение и желанная профессия. Единственная закавыка в том, что мы, как общество, не хотим хорошо платить сиделкам и не ценим их труд», – пишет Зейнеп Тюфекчи, социолог из Университета Северной Каролины в Чапел-Хилл. Это был ответ Тюфекчи на статью Луизы Аронсон, геронтолога из Калифорнийского университета, Сан-Франциско, которая утверждала, что существует острая потребность в роботах-сиделках для выполнения таких задач, как контроль состояния здоровья пожилых пациентов, организация их жизни и выполнение функций компаньона. По словам Аронсон, на посещение пациентов и пребывание с ними у нее уходит намного больше времени, чем следует, поскольку ей приходится играть роль и сиделки, и компаньона. Тюфекчи рисует общество, где армия специально подготовленных врачей будет проводить время с пожилыми. К сожалению, сетует она, мы живем в мире, где больше ценят работу биржевых брокеров и адвокатов, чем санитарок и учителей. Это, впрочем, не имеет отношения к технологии. Когда-то в аграрных сообществах забота о старших лежала на семьях. В западном обществе это зачастую уже не так, и мы вряд ли вскоре вернемся к какому-то виду централизованной расширенной семьи.
Так или иначе затронутая Тюфекчи тема ставит ряд вопросов.
Прежде всего, смогут ли роботы обеспечить такой же уровень ухода, как человек? Об уходе за пожилыми людьми в современных домах престарелых и в учреждениях социальной защиты рассказывают немало ужасов. Тюфекчи считает, что каждый пожилой человек заслуживает внимания образованного, квалифицированного и сострадающего доктора Аронсон. Ну а если этого нет, то улучшат ли дешевые роботы жизнь стариков? Перспектива получить сидящее под замком «под присмотром машин» стареющее население вызывает беспокойство. Машины могут научиться видеть, действовать и чувствовать, как люди, но людьми они все равно не станут.
Чтобы помогать пожилым, роботам вовсе не обязательно полностью заменять сиделок. Например, может существовать сеть взаимосвязанных роботов, позволяющая изолированным пожилым людям создать виртуальное сообщество в интернете. Возможно, такие старики будут самыми лояльными пользователями технологий расширенной реальности, разрабатываемых Magic Leap, Microsoft и др. Перспектива использования виртуальных сиделок – привлекательная идея для людей с физическими проблемами.
Сегодня Тэнди Трауэр решительно относит себя к лагерю усиления интеллекта. Он пришел в робототехнику как технарь из команды Билла Гейтса в Microsoft. В 2006 г. Гейтс ездил по студенческим городкам и воочию наблюдал интерес к робототехнике на кафедрах вычислительной техники по всей стране. Куда бы он ни приходил, везде занимались роботами. После одной из поездок он попросил Трауэра сформулировать предложения по более активному участию Microsoft в развивающейся индустрии роботостроения. Трауэр написал 60-страничный отчет, предлагавший создать в Microsoft группу разработки программных средств для создания роботов. Microsoft предоставила Трауэру небольшую группу исследователей, и он начал разрабатывать систему моделирования и графический язык программирования. Они назвали это подразделение Microsoft Robotics Developer Studio.
Но потом Гейтс ушел в отставку, чтобы основать свой фонд, и в Microsoft все изменилось. У нового руководителя Стива Балмера были совсем другие интересы. Его больше заботило зарабатывание денег, и он не был готов рисковать. Через ветерана Microsoft, директора по стратегии Крэйга Манди, он задал Трауэру прямой вопрос: как Microsoft будет на этом делать деньги?
Балмер выразился совершенно ясно: он хотел, чтобы бизнес ежегодно в течение семи лет давал доход $1 млрд. У Microsoft были партнеры в области промышленной робототехники, но они не интересовались покупкой программ Microsoft – у них уже было собственное программное обеспечение. Трауэр начал искать отрасли, которые могли бы заинтересоваться его программным обеспечением. Он рассматривал автомобильную промышленность, но у Microsoft уже имелось автомобильное подразделение. Он обратился к рынку образования и науки, но его потенциал был не слишком высок. Казалось, что время робота телеприсутствия еще не пришло. Чем больше Трауэр искал, тем больше задумывался о проблеме старения и ухода за пожилыми. «Отлично! – подумал он. – Вот рынок, который в следующие 20–30 лет будет резко расти». Сегодня в США больше 8,5 млн пожилых нуждаются в помощи, и за следующие два десятилетия их число превысит 21 млн.
В сфере ухода за пожилыми людьми существовала очевидная потребность в роботах, и на этот рынок не претендовал никто из крупных игроков. Несмотря на свой энтузиазм, Трауэр не смог убедить Манди и Балмера в том, что Microsoft должна вложиться в эту идею. Балмер стремился сократить диапазон инвестиций Microsoft и свести их к нескольким основным направлениям.
«Я должен сделать это», – подумал Трауэр. В конце 2009 г., после 28 лет работы на Microsoft, он покинул компанию и основал Hoaloha Robotics (слово hoaloha на гавайском означает «друг») с намерением создать мобильного робота для ухода за пожилыми по разумной цене. Полдесятилетия спустя Трауэр разработал прототип робота ростом 1 м 20 см, любовно названного Robby. Он не заменяет сиделку, но может слушать и говорить, помогать с лекарствами, передавать сообщения и при необходимости обеспечивать телеприсутствие. Он не ходит, а плавно перемещается на колесах в любом направлении. Вместо рук у него лоток, высоту которого можно регулировать. Это позволяет Robby выполнять определенные задачи, например подбирать упавшие предметы.
Трауэр не считает, что Robby вытеснит живых работников. Рост затрат и уменьшение притока рабочих рук создадут ситуацию, когда робот-помощник будет расширять возможности и пациентов, и обслуживающего персонала. Трауэр говорит, что сиделки уже сейчас обходятся в $70 000 или больше в год, и дешевый робот станет реальным помощником даже тем, у кого не так много средств.
Не обращая внимания на опасения Тюфекчи, Трауэр сконцентрировался на расширении возможностей и помощи людям. Но когда эти машины оправдают наши надежды на них? И как их встретят те, о ком они будут заботиться? Эти вопросы остаются открытыми, хотя есть немало примеров, говорящих о том, что по мере улучшения распознавания и синтеза речи, снижения стоимости датчиков и появления более ловких машин мы будем с благодарностью принимать их. К тому же для привыкшего к интернету поколения, которое выросло с планшетами, iPhone и Siri, машины для ухода будут казаться совершенно естественными. Роботы для ухода за пожилыми и для сферы обслуживания, роботы-водители и роботы-солдаты – это неизбежность. Труднее предсказать характер наших отношений с ними. Истории, подобные притче о големе, рисующие образ счастливого слуги, который выполняет каждое наше желание, прочно сидят в наших душах и в мифологии. Появление интеллектуальных машин, которые в значительной степени заменят живой труд, несомненно спровоцирует кризис самоосознания человека.
Трауэр пока сосредоточился на понятной и важной роли роботов как помощников для больных и пожилых. Это отличный пример прямого использования искусственного интеллекта в интересах людей, но что будет, если интеллектуальные машины быстро распространятся по всей экономике? Мы можем только надеяться, что кейнсианцы окажутся правы – в долгосрочной перспективе.
Выбор пути, по которому пойдет развитие искусственного интеллекта и усиления интеллекта, налагает огромную ответственность на два сообщества разработчиков, описанных в этой книге. Когда Стив Джобс собирал команду инженеров, которая должна была вдохнуть новую жизнь в мир персональных компьютеров с помощью Lisa и Macintosh, он ясно видел цель. Джобс думал о компьютерах как о «велосипеде для разума». Персональные компьютеры, первоначально предложенные небольшой группой инженеров и провидцев в 1970-е гг., оказали огромное влияние на экономику и современные трудовые ресурсы. Они расширяли возможности каждого человека и высвобождали творческий потенциал людей в глобальном масштабе.
Три десятилетия спустя робототехнический проект Энди Рубина в Google также осуществляется небольшой группой инженеров, создающих самых современных роботов. Рубин начал работу со столь же ясной, хотя и существенно отличающейся целью. Когда он начинал скупать технологии и специалистов, которые должны были ввести Google в мир робототехники, ему казалось, что 10–15 лет достаточно для достижения значительного прогресса в самых разных областях робототехники – от шагающих машин до манипуляторов и сенсорных систем. В его воображении двуногие роботы Google выпрыгивали из автомобилей Google и доставляли пакеты к крыльцу заказчиков.
Сегодня в равной мере можно как включить людей в компьютерные системы, так и исключить их. Дальнейшее развитие и искусственного интеллекта, и средств усиления интеллекта заставит робототехников и ученых-компьютерщиков выбирать, как будут выглядеть системы на рабочих местах и в окружающем нас мире. Хотим мы этого или нет, но скоро нам придется сосуществовать с автономными машинами.
Разработчик программного обеспечения и консультант автомобильного проекта Google Брэд Темплтон как-то заметил: «Робот станет действительно автономным, когда вы прикажете ему идти на работу, а он решит отправиться на пляж». Это замечательная фраза, в которой самосознание соединяется с автономностью. Сегодня машины начинают действовать без значимого вмешательства людей или на уровне независимости, которую можно считать автономностью. Это ставит трудные вопросы перед разработчиками интеллектуальных машин. Однако по большей части инженеры игнорируют этические проблемы, возникающие при использовании компьютерных технологий. Лишь изредка сообщество исследователей искусственного интеллекта поддается дурным предчувствиям.
На проходившей в Атланте в 2013 г. конференции Humanoids, посвященной разработке и применению антропоморфных роботов, робототехник из Технологического института Джорджии Рональд Аркин обратился к аудитории со страстной речью под названием «Как НЕ создать Терминатора». Он напомнил собравшимся, что к своим трем знаменитым законам Азимов позднее добавил фундаментальный «нулевой» закон робототехники, который гласит: «Робот не может причинить вред человечеству или, бездействуя, допустить, чтобы человечеству был причинен вред». Обращаясь более чем к 200 робототехникам и специалистам по искусственному интеллекту из университетов и компаний, Аркин призвал более глубоко задуматься о последствиях автоматизации. «Все мы знаем, что соревнования [DARPA Robotics Challenge] проходят с прицелом на чрезвычайные ситуации под девизом „найти и уничтожить“, – сказал он сардонически, добавив: Простите, я имел в виду девиз „найти и спасти“».
Граница между роботами, действующими как спасатели и как надзиратели, уже сейчас нечеткая, если вообще существует. Аркин показал отрывки из научно-фантастических фильмов, включая «Терминатор» 1984 г. Джеймса Кэмерона. В каждом из них фигурировали злобные роботы, выполнявшие задачи, которые DARPA ставило в своих соревнованиях: расчистка завалов, вскрытие дверей, проламывание стен, подъем по лестницам и вождение автомобилей. Разработчики могут использовать эти возможности как конструктивно, так и деструктивно в зависимости от своих намерений. Аудитория нервно смеялась, но Аркин не давал ей расслабиться. «Я шучу, – сказал он, – но мне хочется показать, что технологии, которые вы разрабатываете, могут использоваться в таких целях, о которых вы даже не задумывались». В сфере вооружений потенциал неожиданных последствий долгое время был особенностью так называемых технологий двойного назначения, например ядерной энергии, которая может использоваться и как источник электричества, и как оружие. Теперь это все более справедливо для робототехники и искусственного интеллекта. Это технологии двойного назначения не только с точки зрения возможности использования в качестве оружия, но и с точки зрения их потенциала расширять возможности людей или заменять их. Сегодня мы все еще «в контуре управления» – машины, заменяющие людей или расширяющие их возможности, разрабатываются людьми, которые не могут сбросить с себя ответственность за последствия своих изобретений. «Если вы хотите создать Терминатора, то продолжайте делать свое дело не задумываясь и вы получите именно такое устройство, – сказал Аркин. – Но миру вокруг нас не все равно, какие будут последствия у того, что мы создаем».
Вопросы и проблемы автоматизации вышли за пределы технического сообщества. В оставшемся незамеченным открытом отчете Пентагона «Роль автономности в оборонных системах» авторы обратили внимание на этические проблемы автоматизации боевых систем. Военные уже напрямую сталкиваются с противоречиями, связанными с автономными системами вроде дронов и приближением к грани, за которой вопросы жизни и смерти уже будут решать не люди. В одном из своих выступлений Аркин утверждал, что, в отличие от людей, автономные боевые роботы не будут чувствовать угрозы личной безопасности, а это потенциально может уменьшить сопутствующий ущерб и избежать военных преступлений. Этот вопрос – часть споров, начавшихся еще в 1970-е гг., когда командовавшие соединениями стратегических бомбардировщиков генералы обосновывали более высокую ценность самолета по сравнению с баллистической ракетой наличием «человека в контуре управления», который позволял отозвать бомбардировщик и мог оценить размер нанесенного противнику ущерба.
Аркин, кроме того, сформулировал новый набор этических вопросов. Что, если у нас будут роботы, обладающие моралью, а у противника – нет? На этот вопрос нет простого ответа. Действительно, технологии все более интеллектуального и автоматизированного оружия спровоцировали новую гонку вооружений. Добавление недорогого интеллекта к системам вооружений угрожает изменить баланс сил между странами.
Когда Аркин завершил свое выступление в величественном здании Медицинской академии в Атланте, одним из первых ему ответил директор DARPA Robotics Challenge Гилл Пратт. Он не стал опровергать точку зрения Аркина, а подтвердил, что роботы – технология двойного назначения. «Очень легко критиковать роботов, которых финансирует Министерство обороны, – сказал он. – Очень легко нарисовать робота, который похож на Терминатора, но, поскольку все вокруг нас имеет двойное назначение, это ничего не меняет. Если вы создаете робота для здравоохранения, то вам придется сделать его более автономным, чем робота-спасателя для работы в чрезвычайных ситуациях». Передовые технологии всегда вызывали вопросы относительно двойного назначения. В наши дни искусственный интеллект и автономность машин привели к переосмыслению этой проблемы. До сих пор технологии двойного назначения прямо требовали от людей принятия этических решений относительно их использования. Автономность машин или отдаляет принятие этических решений человеком, или полностью исключает его.
У нас уже есть примеры, когда ученые и инженеры в других областях задумывались о потенциальных последствиях того, что они делают, и многие из них вставали на защиту человечества. В феврале 1975 г., например, нобелевский лауреат Пол Берг призвал элиту новой тогда биотехнологии встретиться в конференц-центре Асиломар в Пасифик-Гроув, Калифорния. В то время рекомбинантная ДНК, полученная добавлением новых генов в ДНК живых организмов, была последним достижением. Оно одновременно сулило глобальный прогресс в медицине, сельском хозяйстве и новых материалах и открывало страшную возможность ненамеренного уничтожения человечества в результате появления новых микроорганизмов. Встреча ученых привела к экстраординарному решению. Группа рекомендовала молекулярным биологам воздерживаться от определенных видов исследований и приостанавливать исследования для поиска путей обеспечения безопасности. Для мониторинга отрасли биотехнологи создали независимый комитет в Национальном институте здравоохранения. За десятилетие удалось собрать достаточно данных, чтобы снять ограничения на исследования. Это был яркий пример разумного подхода общества к оценке последствий научного прогресса.
По примеру биологов в феврале 2009 г. группа исследователей искусственного интеллекта и робототехников также встретилась в Асиломаре, чтобы обсудить развитие отрасли. Встречу созвал исследователь из Microsoft Эрик Хорвиц, президент Ассоциации развития искусственного интеллекта. В предыдущие пять лет предметом обсуждения у исследователей в этой области были два тревожных сигнала. Один поступил от Рэя Курцвейла, объявившего об относительно скором появлении компьютерного сверхинтеллекта. Основатель Sun Microsystems Билл Джой также рисовал мрачную картину развития искусственного интеллекта. Он опубликовал статью в журнале Wired, где детально описывал трио технологических угроз: робототехнику, генную инженерию и нанотехнологию. Джой полагал, что эти области исследований создают тройную угрозу выживанию человечества, и не видел очевидного решения.
Встретившиеся в Асиломаре исследователи искусственного интеллекта предпочли действовать менее осторожно, чем их предшественники биотехнологи. Группа светил в области компьютерной науки и робототехники, включая Себастьяна Труна, Эндрю Ына, Мануэлу Велосо и Орена Этциони, нынешнего директора Института исследований искусственного интеллекта Пола Аллена, в целом отвергла возможность появления сверхинтеллекта, который превзойдет людей, а также предположение, что искусственный интеллект может спонтанно возникнуть в интернете. Они согласились, что уже разрабатываются способные убивать автономные роботы, но их отчет, появившийся к концу 2009 г., оказался довольно спокойным. Искусственный интеллект еще не достиг того момента, когда он превращается в непосредственную угрозу. «На встрече 1975 г. речь шла о моратории на исследования рекомбинантной ДНК. Контекст совещания американской Ассоциации развития искусственного интеллекта был совершенно иным. Эта область демонстрирует довольно успешное, устойчивое развитие, однако исследователи искусственного интеллекта открыто выражают разочарование прогрессом, недостаточно быстрым с учетом существующих надежд и ожиданий», – написали авторы итогового отчета о встрече.
Так или иначе пять лет спустя вопрос автономности машин возник снова. В 2013 г., когда Google приобрела специализировавшуюся на машинном обучении британскую фирму DeepMind, считалось, что робототехники очень близки к созданию полностью автономных роботов. Крошечный стартап продемонстрировал программу, которая играла в видеоигры порою лучше людей. Отчеты о приобретении сопровождались заявлением, что Google создает «совет по этике» из-за опасений по поводу потенциального использования технологии и возможных злоупотреблений. Один из соучредителей DeepMind – Шейн Легг признал, что технология в конечном итоге может иметь негативные последствия для человеческого рода. «Я думаю, что человечество исчезнет, и технология, скорее всего, сыграет в этом определенную роль». Для исследователя искусственного интеллекта, который только что получил сотни миллионов долларов, это была странная позиция. Если кто-то полагает, что технология может уничтожить человечество, то с какой целью он продолжает разрабатывать ее?
В конце 2014 г. встреча по искусственному интеллекту повторилась – новая группа исследователей, финансируемая одним из основателей Skype, собралась в Пуэрто-Рико, чтобы обсудить вопросы обеспечения безопасности исследований. Несмотря на новую волну тревожных сигналов от таких светил, как Илон Маск и Стивен Хокинг, в открытом письме участников не было того призыва к действию, который прозвучал на встрече биотехнологов в Асиломаре в 1975 г.
Учитывая, что DeepMind была куплена Google, публичное философствование Легга приобретает особое значение. Сегодня Google – самый яркий пример потенциальных последствий развития искусственного интеллекта и усиления интеллекта. Построенная на алгоритме, эффективно собирающем знания, а затем возвращающем их людям в процессе поиска информации, Google теперь занята созданием империи роботов. Компания может создать машины, которые заменят людей: водителей, работников служб доставки и сборщиков электроники. Пока неясно, останется ли она компанией «усиления интеллекта» или будет ориентироваться на искусственный интеллект.
Новую волну беспокойства по поводу потенциальной угрозы со стороны искусственного интеллекта и робототехники рождают этические проблемы, показанные в научно-фантастическом фильме «Бегущий по лезвию». В начале фильма детектив Декард встречается с Рэйчел, сотрудницей компании, производящей роботов (или репликантов), и спрашивает ее, дорого ли стоит «ночная бабочка». Она высказывает предположение, что он не понимает ценности работы компании. «Репликанты подобны любой другой машине, – отвечает Декард. – Они или благо, или опасность. Если они благо, это не моя забота».
Сколько пройдет времени, прежде чем интеллектуальные машины Google, основанные на технологиях от DeepMind и робототехнического подразделения Google, будут вызывать такие же вопросы? Мало какие фильмы оказали такой же культурный эффект, как «Бегущий по лезвию». Всего вышло семь его версий, одна из которых режиссерская, сейчас снимается сиквел. В нем рассказывается история отставного детектива из Лос-Анджелеса, которого в 2019 г. вызвали, чтобы выследить и уничтожить группу искусственно созданных существ, известных как репликанты. Репликанты предназначались для работы за пределами планеты, но незаконно вернулись на Землю, чтобы заставить своего создателя увеличить ограниченную продолжительность их жизни. Ставший современным «Волшебником Страны Оз», этот фильм отражает надежды и страхи технологически грамотного поколения. От Железного Дровосека, который получает сердце и, таким образом, в определенной мере становится человеком, до репликантов, настолько превосходящих людей, что Декард получает приказ уничтожить их, отношение человечества к роботам превращается в определяющий вопрос эпохи.
Эти «интеллектуальные» машины никогда, возможно, не станут интеллектуальными в человеческом смысле или обладающими самосознанием. Дело не в этом. Искусственный интеллект быстро совершенствуется и приближается к уровню, когда он все в большей степени будет казаться интеллектом. Вышедший в декабре 2013 г. фильм «Она» нашел широкий отклик в обществе, скорее всего, потому, что миллионы людей уже взаимодействуют с персональными помощниками, такими как Siri компании Apple. Взаимодействие, подобное показанному в фильме, стало обычным. По мере того как компьютеры уменьшаются в размерах и встраиваются в предметы повседневного пользования, мы ожидаем, что взаимодействие с ними будет разумным. Работая над Siri, пока проект был еще скрыт от общественного внимания, Том Грубер называл систему «интеллект в интерфейсе». Ему казалось, что он сумел соединить конкурирующие миры искусственного интеллекта и усиления интеллекта.
И в самом деле, появление программных интеллектуальных помощников вроде бы намекает на сближение таких несовместимых сообществ, как разработчики систем человеко-машинного взаимодействия и исследователи искусственного интеллекта. Стоявший у истоков индустрии современных персональных компьютеров Алан Кей сказал, что, занимаясь компьютерными интерфейсами, он работал на будущее, которое наступит через 10–15 лет. Николас Негропонте, один из первых исследователей встроенных медиа, виртуальной реальности и речевых интерфейсов, работал на 25–30-летнюю перспективу. Как и Негропонте, Кей утверждает, что лучшие компьютерные интерфейсы – те, которые больше похожи на театр, а лучший театр настолько вовлекает публику в свой мир, что люди ощущают себя его частью. Этот подход напрямую ведет к интерактивным системам, которые будут функционировать скорее как интеллектуальные «коллеги», а не как компьютеризированные инструменты.
Как эти компьютерные аватары преобразуют общество? Люди уже сейчас тратят существенную часть времени бодрствования на взаимодействие через компьютеры друг с другом или с подобными человеку машинами в видеоиграх или в виртуальных системах от FAQbots до Siri. Мы используем поисковые системы даже в каждодневных разговорах друг с другом.
Станут ли эти интеллектуальные аватары нашими слугами, помощниками и коллегами или одновременно одним, другим и третьим? Или нас ждет более мрачный сценарий, при котором они превратятся в наших хозяев? Подход к роботам и искусственному интеллекту с точки зрения социальных взаимоотношений может в первый момент показаться абсурдным. Тем не менее, с учетом нашей склонности к очеловечиванию машин, мы наверняка будем вступать с ними в социальные отношения по мере повышения их автономности. В конце концов, разница между отношением человека к роботам и традиционным отношением людей к рабам, которых хозяева обезличивали на протяжении всей истории, не так уж велика. Гегель рассматривал отношения между господином и рабом в «Феноменологии духа», и его идеи относительно «диалектики господин – раб» повлияли на многих мыслителей от Карла Маркса до Мартина Бубера. В основе диалектики Гегеля лежит положение об обезличивании и господина, и раба в процессе их взаимоотношений.
Кей фактически перевел Гегеля для нашего времени. Сегодня многие компании разрабатывают диалоговые системы, подобные Siri. По мнению Кея, разработчики должны стремиться создавать программы, функционирующие как коллеги, а не как слуги. Если этого не сделать, то, как следует из истории, нас ждут неприятные последствия. Кея волнует то, что создание интеллектуальных «помощников» может вновь создать проблему, с которой столкнулись римляне, позволив греческим рабам думать за них. Довольно быстро находившиеся у власти утратили способность думать самостоятельно.
Не исключено, что мы уже встали на этот путь. Например, появляется все больше свидетельств того, что использование GPS для определения направления и исправления ошибок в определении местоположения ухудшает наши способности ориентироваться в пространстве, которые принципиально важны для выживания. «Меня спрашивают, захватят ли компьютеры мир? – говорит Кей. – Для большинства это уже произошло, поскольку мы уступили им полномочия принимать решения по очень многим вопросам».
Это подводит нас ко второй большой проблеме: риску уступить контроль над принятием повседневных решений все более сложным алгоритмам. Не так давно ветеран венчурного бизнеса Кремниевой долины Рэнди Комисар был на конференции и слушал выступление, описывавшее конкурента Siri – сервис Google Now. «Похоже, людям до смерти хочется, чтобы какой-то интеллект подсказывал им, что надо делать, – сказал он. – Что они должны есть, с кем должны встречаться, на какие вечеринки должны ходить». На его взгляд, для сегодняшнего молодого поколения мир перевернулся вверх ногами. Вместо того чтобы использовать компьютеры для получения свободы и возможности мыслить масштабно, для установления близких отношений, для реализации своей индивидуальности и творческого потенциала, молодые люди настолько жаждут указаний, что готовы передать эту ответственность искусственному интеллекту в облаке. То, что начиналось как интернет-технологии, позволившие людям совместно использовать возникшие возможности, быстро превратилось в растущий массив алгоритмов, которые все больше диктуют им, что делать. Теперь интернет незаметно для пользователя определяет образ жизни. Это могут быть небольшие подсказки, например поиск лучшего кафе с корейским барбекю поблизости с учетом ваших предпочтений и потребностей, или более серьезные решения, подобные интернет-сервису по организации свадьбы: подбор не только блюд, подарков и цветов, но и вашей пары.
Противоречие, присущее идеологиям искусственного интеллекта и усиления интеллекта, впервые поразило меня, когда я понял, что Энгельбарт и Маккарти занимались созданием компьютерных технологий с совершенно разными целями. В их подходах была и двойственность, и парадоксальность. И это понятно – если вы расширяете возможности человека с помощью компьютерной технологии, то неизбежно вытесняете людей. В то же время выбор той или иной стороны в споре – это вопрос этики, хотя его и нельзя рассматривать как выбор между черным и белым. И Терри Виноград, и Джонатан Грудин независимо друг от друга описали конкурирующие сообщества ученых и инженеров, возникшие на заре компьютерной эры. И тот и другой хотели соединить два противоречивших друг другу подхода. Так, в 2009 г. Виноград организовал в Стэнфорде «программу по технологии освобождения», нацеленную на поиск путей использования компьютерных технологий для улучшения управления, помощи неимущим слоям населения, поддержки прав человека, обеспечения экономического развития и т. п.
Конечно, у этих технологий есть пределы. Виноград говорит, что цели применения компьютерных технологий – расширение возможностей людей или их замена – зависят в большей мере от характера экономической системы, а не от свойств самих технологий. В капиталистической экономике, если технологии искусственного интеллекта смогут заменять белые воротнички и работников интеллектуального труда, то они неизбежно будут использоваться именно таким образом. Именно в этом состоит урок для так по-разному подходящих к системам будущего исследователей искусственного интеллекта, робототехников и программистов. Понятно, что предупреждение Билла Джоя («будущее не нуждается в нас») – это только один из возможных исходов. Не менее очевидно, что преобразованный этими технологиями мир не должен обернуться катастрофой.
Немногим более столетия назад Торстейн Веблен написал фундаментальную работу с критикой индустриального мира на рубеже веков «Инженеры и система цен» (The Engineers and the Price System). По его мнению, из-за могущества и влияния промышленной технологии политическая власть должна перейти к инженерам, которые могут использовать свои глубокие знания для контроля развивающейся промышленной экономики. Этого, конечно, не случилось. Веблен апеллировал к эре прогрессизма, пытаясь найти компромисс между марксизмом и капитализмом. Возможно, он неправильно выбрал время, но его основное положение, повторенное полвека спустя, на заре компьютерной эры, Норбертом Винером, может еще оказаться правильным. Сегодня инженеры, создающие основанные на искусственном интеллекте программы и роботов, очень сильно влияют на то, как мы будем использовать их. По мере того как компьютерные системы все глубже вплетаются в ткань повседневной жизни, противоречие между усилением интеллекта и искусственным интеллектом становится все заметней.
На то, что началось для меня как парадокс, есть простой ответ. Устранение противоречия между искусственным интеллектом и усилением интеллекта зависит от решений людей – инженеров и ученых, подобных Биллу Дювалю, Тому Груберу, Адаму Чейеру, Терри Винограду и Гари Брадски, которые осознанно выбрали антропоцентрический подход.
На заре компьютерной эры Винер отчетливо понимал значимость отношений между людьми и их созданиями – умными машинами. Он видел благо автоматизации в избавлении людей от тяжелой работы, но беспокоился, что эта же самая технология может поработить человечество. Прошедшие десятилетия лишь обострили двойственность, на которую он первым обратил внимание.
Это проблема нас как людей и мира, который мы создаем.
Это не проблема машин.
