В 1958 году легендарный американский фантаст Айзек Азимов написал короткий рассказ «Чувство силы». В нем рассказывается о том, как рядовой техник Майрон Ауб обнаружил, что может дублировать работу своего компьютера, перемножая числа на листке бумаги. Удивительно! Новость об этом открытии доходит до генералов и политиков, которые потрясены черной магией Ауба. Военное руководство считает, что благодаря проведенным человеком вычислениям Земля может получить решающее преимущество в войне с планетой Денеб, увязшей в управляемых компьютерами военных маневрах.

О фантастической способности Ауба совершать арифметические действия на бумаге и даже в голове — Ауб назвал эту методику графитикой — узнаёт сам президент. Он заинтригован, поскольку один из конгрессменов так оценил шокирующий потенциал графитики: «Мы можем сочетать механику расчетов с человеческой мыслью; мы можем получить эквивалент счетчикам, миллионам их. Я не могу предсказать все последствия в точности, но они будут неисчислимыми… Теоретически счетная машина не может делать ничего такого, чего не мог бы сделать человеческий мозг. Машина попросту берет некоторое количество данных и производит с ними конечное количество операций. Человек может воспроизвести этот процесс».

Президент решает запустить проект «Число», чтобы исследовать возможности применения графитики в военных целях. История заканчивается мрачно, в духе Азимова. Генерал ставит перед командой проекта «Число», в которую входит и повышенный в ранге Ауб, задачу: заменить дорого­стоящие вычислительные машины, управляющие космическими кораблями и ракетами, людьми. «Условия войны заставляют нас думать еще об одном: человеческий материал гораздо доступнее вычислительной машины», — добавляет он. Разочарованный Ауб возвращается в свою комнату и заканчивает жизнь самоубийством. В посмертной записке он пишет, что не в силах нести ответственность за изобретение графитики. Он надеялся, что она будет использована «на благо человечества», а не «для смерти и уничтожения».

Тема отношений человека и машины захватила Азимова, о чем свидетельствует серия его еще более знаменитых рассказов о роботах. Учитывая время публикации «Чувства силы», можно заметить, что этот рассказ не просто высмеивал тенденцию к отуплению людей и замене их машинами. За несколько лет до этого США и СССР провели испытания водородной бомбы, и перспективы, связанные с использованием энергии термоядерного синтеза, обсуждались наравне с угрозами глобальной ядерной катастрофы. Как мы используем наши новые колоссальные возможности — для созидания или для разрушения?

На протяжении большей части своей истории человечество делало и то, и другое, хотя в последние несколько десятилетий мы движемся скорее в сторону созидания. Хотя после просмотра новостей на любом телеканале создается другое впечатление, сегодня наша жизнь стала более долгой, здоровой и безопасной, чем когда-либо в прошлом. В своей недавней книге «Зима близко» (2015) я предупреждаю, что это всего лишь геополитический сезонный тренд и, если не принять меры для его поддержания, он может обратиться вспять. Технологии сами по себе не несут добро или зло. Они нейтральны. Смартфоны, которые объединяют людей по всему миру, могут быть использованы и для общения с семьей, и для планирования террористических атак. Ключевой этический вопрос состоит в том, как мы, люди, используем наши технологии, а не в том, должны ли мы их развивать.

С этой проблемой связана масса противоречивых моментов, многие из которых затронуты в данной книге. Я не претендую на то, что знаю ответы на все вопросы. Волноваться о том, куда ведет нас развитие технологий, — естественно и необходимо. В целом я настроен оптимистично, хотя кое-что вызывает у меня беспокойство. Но больше всего я боюсь, что нам не хватит прозорливости, воображения и решимости сделать то, что должно быть сделано.

Я не раз замечал, что почти любой разговор об искусственном интеллекте быстро переходит на проблемы, затрагивающие вопросы технологии, биологии, психологии и философии. Для полноты картины сюда можно добавить теологию и физику. А также экономику и политику, поскольку сегодня интеллектуальная автоматизация стала играть жизненно важную роль в бизнес-моделях и ее последствия в равной степени важны для избирателей.

По моему опыту, тенденция так быстро расширять дискуссию на другие области знаний вызывает досаду у специалистов по технологиям. Почти у каждого из нас есть свое мнение насчет того, что делают технологи, как они это делают и что они должны и не должны делать. В ответах программистов и инженеров-электронщиков звучит усталость от вопросов о таких метафизических конструктах, как разум, не говоря уже о человеческой душе. Сами они, как правило, не донимают философов, не стучатся в двери церквей, чтобы подискутировать о природе человеческого сознания, и не звонят политикам, чтобы обсудить последствия использования своих суперинтеллектуальных роботов для глобальной безопасности. Хорошо еще, что многие из них продолжают снимать трубку, когда им звонят философы и политики.

Многие исследователи ИИ регулярно контактируют с нейробиологами и иногда снисходят до общения с психологами, но в основном они хотят, чтобы их оставили в покое и позволили мирно трудиться над своими машинами и алгоритмами. Как говорят Ферруччи, Норвиг и другие, они хотят решать проблемы, у которых есть конкретное решение, а не тратить десятилетия на не имеющие большого практического значения исследования, пусть даже успешные. Жизнь коротка, и специалисты в области ИИ хотят сделать этот мир лучше. Философские аспекты искусственного интеллекта, связанные с пониманием того, что делает нас людьми и что такое интеллект, могут быть хороши для пробуждения общественного интереса и привлечения внимания СМИ, но когда речь идет о решении конкретных проб­лем, они становятся не более чем эфемерными отвлекающими факторами.

Действительно ли так важно, что такое интеллект? Чем больше я узнаю об искусственном интеллекте, тем меньше нуждаюсь в определении этого термина, сколь бы точным оно ни было. Шахматы — прекрасный пример «эффекта искусственного интеллекта», описанного Ларри Теслером. По словам Теслера, «интеллект — это то, что машины еще не умеют делать». Едва придумав способ научить компьютер выполнению какой-то «интеллектуальной» задачи — например, игре в шахматы на уровне чемпиона мира, мы тут же приходим к мысли, что это не является настоящим проявлением интеллекта. Другие указывают на то, что технология, становясь хорошо отлаженной и привычной, вообще перестает восприниматься как ИИ. Это еще одна иллюстрация того, насколько недолговечны подобные определения.

Те редкие пытливые умы, которые хотят постичь потенциал машинного интеллекта путем углубления в тайны человеческого мышления, зачастую не пользуются благосклонностью деловых и академических кругов, которые все больше отдают приоритет практическим результатам. Некоторое исключение по-прежнему составляют крупнейшие университеты, но даже самые престижные учебные заведения, представляющие собой замкнутый мирок, всегда стремятся что-то публиковать, патентовать и приносить прибыль. Эпоха, когда гигантские транснацио­нальные корпорации типа Bell и государственные программы типа DARPA вкладывали огромные деньги в фундаментальные исследования и экспериментальные проекты, осталась в прошлом. Ассигнования на НИОКР урезаются на протяжении многих лет, с ростом скептического отношения инвесторов ко всему, что не увеличивает напрямую конечную прибыль. Финансируемые государством исследования, как правило, сосредоточены на конкретных задачах, а не на открытых амбициозных миссиях вроде обозначенной Леонардом Клейнроком в его знаменитом вопросе: «Как научить все компьютеры в мире общаться друг с другом?».

Школа Джеймса Мартина при Оксфордском университете собрала под своей крышей немногочисленную команду таких исключительных личностей и поощряет междисциплинарные и свободные исследования, наподобие тех, что вышли из моды в эпоху специализации, контрольных показателей и 90-страничных заявок на гранты. Работая с 2013 года в этой школе, я лично знаком со многими ее замечательными сотрудниками, в том числе с Ником Бостромом, автором книги «Суперинтеллект» (2014), а также другими преподавателями и исследователями из Института будущего человечества. Йен Голдин, основатель и первый директор оксфордской Школы Джеймса Мартина, решил, что его коллегам будет интересно принимать участие в неформальных встречах, в ходе которых они смогут обсудить общую картину, а не только то, что видят каждый день в своих научных лабораториях.

Как гласит современная поговорка, если вы самый умный человек в комнате, то вы ошиблись помещением. Что ж, в дни своих ежегодных визитов в Оксфорд я порой чувствую себя самым неумным человеком в комнате. Я горжусь тем, что хорошо информирован и быстро вникаю в сложные темы. Я много читаю, у меня масса умных друзей в самых разных областях, которые не позволяют мне расслабляться в интеллектуальном плане. Но эти оксфордские дискуссии ведутся на совершенно ином уровне и всегда завершаются слишком быстро.

Моя задача на этих встречах — помимо того, чтобы не показать, что у меня нет полудюжины ученых степеней, как у остальных присутствующих, — подливать масла в огонь дискуссии. Я побуждаю ученых мужей выйти из их зоны комфорта и посмотреть на то, чем они занимаются, под другим углом: что вызывает у них наибольшее разочарование и чему общественность должна уделить наибольшее внимание? Мы обсуждаем, какие из ключевых предсказаний на минувшие пять лет не сбылись, и пытаемся сделать свои прогнозы на следующее пятилетие. Я предлагаю им поговорить о политических и бюрократических факторах, которые сдерживают жизненно важные исследования, и о зачастую извращенных схемах получения грантов и других видов финансирования.

Дискуссии всегда проходят невероятно интересно, и иногда эти выдающиеся умы с удивлением обнаруживают, что их коллеги в соседнем здании работают над близкой темой или сталкиваются с похожими проб­лемами и трудностями. Просматривая свои заметки за последние три года, я с удивлением понял, как много исследователей сталкиваются с одной и той же дилеммой — решать конкретные задачи, чтобы помочь многим людям сегодня, или же прикладывать усилия к тому, что способно помочь всем людям в недалеком или отдаленном будущем. Поскольку ресурсы ограниченны, как выразился один исследователь, приходится выбирать между попытками усовершенствовать москитные сетки и работой над изобретением лекарства от малярии. Безусловно, мы должны делать и то, и другое, но даже ученые с мировым именем сегодня стоят перед такого рода альтернативой.

Что показали мои битвы с компьютерами? То, что я мог отсрочить неизбежное на несколько лет, если бы лучше готовился к партиям? Или то, к чему могут привести десяти­летия научных исследований и технического прогресса? Думаю, вы понимаете, что мой ответ на эти вопросы будет несколько субъективным, но я на нем долго не задержусь. Период с 1996 по 2006 год, когда человеко-машинные шахматы были действительно состязательными, казался мне очень долгим, поскольку я находился на переднем крае. Если смотреть в перспективе, это может служить хорошим примером того, насколько незначительными становятся человеческий масштаб времени и человеческие возможности на фоне ускоряющегося технического прогресса.

Если отразить этот прогресс на графике, чтобы лучше его осознать, легко увидеть, почему дальнейшее распространение ИИ и автоматизация могут вызывать тревогу. Веками люди превосходили любую машину в шахматах и во всем остальном, требующем умственных усилий. Мы тысячи лет наслаждались безоговорочной доминацией во всех интеллектуальных областях. В XIX веке механические калькуляторы чуточку подорвали нашу ведущую роль, но реальная конкуренция началась только в цифровую эпоху, примерно в 1950-е годы. С того момента прошло еще около 40 лет, прежде чем машины, наподобие Deep Thought, стали серь­езной угрозой для сильнейших шахматистов. Восемь лет спустя я проиграл очень дорогостоящему специализированному суперкомпьютеру Deep Blue. Еще через шесть лет, несмотря на более солидную подготовку и более справедливые правила, я сумел лишь свести вничью два матча против ведущих компьютерных программ Deep Junior и Deep Fritz. Они были не слабее Deep Blue, хотя работали на стандартных серверах стои­мостью всего несколько тысяч долларов. В 2006-м Владимир Крамник, следующий после меня чемпион мира, при еще более благоприятных правилах проиграл со счетом 2:4 программе Fritz последнего поколения. Таким образом, завершилась эпоха, когда люди сражались с машинами по стандартным правилам шахматных состязаний: все последующие такие соревнования будут проводиться с учетом необходимости обеспечить соперникам равные условия.

Теперь представьте все эти изменения на временнóй шкале. Тысячи лет непрерывной доминации человека, несколько десятилетий слабой конкуренции, несколько лет борьбы за превосходство. И все, игра окончена. График уходит в бесконечность; отныне машина всегда будет обыгрывать человека в шахматы. Период конкуренции людей и шахматных машин представляет собой крошечную точку на временнóй шкале человеческой истории. И такой однонаправленный технологический прогресс неизбежен буквально во всем — от ткацких станков и производственных роботов до интеллектуальных агентов.

Короткий период конкуренции привлекает столько внимания лишь потому, что мы ощущаем его воздействие на себе. Фаза борьбы часто оказывает непосредственное влияние на нашу жизнь, поэтому мы переоцениваем ее значимость в общей картине. Конечно, нельзя сказать, что происходящее несущественно. Бездушно было бы говорить, что не стоит обращать внимание на людей, страдающих от последствий технического прогресса, поскольку в долгосрочной перспективе их горести не имеют большого значения. Но если мы хотим найти решения, позволяющие облегчить эти страдания, нет смысла говорить о возвращении назад. Искать способы, с помощью которых можно извлечь пользу из перемен, куда более продуктивно, чем противостоять изменениям и держаться за умирающий статус-кво.

Самый главный вывод касается не фазы конкуренции, а той уходящей в бесконечное будущее линии, которая начинается после нее. Прошлое не повторится. Как бы мы ни беспокоились по поводу потери рабочих мест, изменения социальной структуры или машин-убийц, мы никогда не вернемся назад. Это противоречит человеческой природе и человеческому прогрессу. Как только машины начинают лучше (дешевле, быстрее, безопаснее) выполнять какую-либо работу, люди перестают ею заниматься, разве только для развлечения или в случае отключения электроэнергии. Мы уже никогда не откажемся от технологий, которые облегчают нашу жизнь.

Хотя поп-культура не показатель, меня огорчает, что сегодня сказочные и мифические истории в духе фэнтези занимают место научной фантастики. Взгляните на список бестселлеров в категории «Фантастика и фэнтези» на Amazon — и вы увидите, что по крайней мере первые 20 позиций занимают книги, посвященные вампирам, драконам и магам или всему сразу. В жанре фэнтези пишет много талантливых авторов, и сам я являюсь большим поклонником Толкина и Джоан Роулинг. Но я испытываю разочарование от того, что сложная и важная работа по прогнозированию будущего сегодня вдруг вышла из моды, как по мановению волшебной палочки.

Вместе с тем трудно не впасть в пессимизм по поводу завтрашнего дня после просмотра таких фильмов, как «Терминатор» Джеймса Кэмерона (1984) и «Матрица» Вачовски (1999). Обе истории основаны на том, как созданные людьми технологии обращаются против самих людей. Этот классический мотив становится как нельзя более актуальным на фоне того, что начиная с 1980-х мы живем в окружении компьютеров и искусственный интеллект стал горячей темой в исследованиях и общественных дискуссиях. В 2009 году на съезде Ассоциации по развитию искусственного интеллекта в Монтерее (Калифорния) всерьез обсуждался вопрос, существует ли вероятность того, что люди могут потерять контроль над суперинтеллектуальными компьютерами.

Представление, будто сверхумные машины могут превзойти своих создателей и объявить им войну, зародилось не сегодня. В своей лекции в 1951 году Алан Тьюринг предсказал, что машины «перещеголяют людей с их ничтожными способностями» и в итоге возьмут власть. Американский математик и писатель-фантаст Вернор Виндж популяризовал эту идею и в 1983 году выдвинул концепцию «технологической сингулярности». «В скором времени мы создадим разум более мощный, чем наш собственный. Когда это произойдет, человеческая история достигнет своего рода точки сингулярности — перехода, столь же непостижимого, как и искривление пространства-времени в центре черной дыры, — и мир выйдет за пределы нашего понимания». Десять лет спустя он уточнил: «В течение ближайших 30 лет у нас появится техническая возможность создать сверхчеловеческий интеллект. Вскоре после этого человеческая эпоха будет завершена».

Бостром принял эстафету и продолжил бег. Благодаря широчайшим знаниям и умению найти общий язык с массовой аудиторией он стал одним из ведущих проповедников, вещающих об опасностях суперинтеллектуальных машин. Его книга «Суперинтеллект» выходит за рамки обычных мрачных пророчеств и детально объясняет (подчас наводя ужас), как и почему мы можем создавать машины гораздо умнее нас и по какой причине те могут в конце концов перестать нуждаться в людях.

Плодовитый изобретатель и футуролог Рэй Курцвейл со своей концепцией суперинтеллектуальных машин бежит в противоположном направлении. Его книга «Сингулярность уже близко» (2005) стала бестселлером. Как и в случае со многими предсказаниями, понятие «близко» подразумевает будущее, которое наступит достаточно быстро, чтобы мы его опасались, но не настолько скоро, чтобы воспринимать его как реальность. Курцвейл рисует почти утопический мир, в котором биологическая природа человека и нанотехнологии объединяются в сингулярность и начинают служить людям, позволяя им достичь чрезвычайно высокого уровня мышления и продолжительности жизни.

Ноэля Шарки больше занимает практическая сторона вопроса. Он разрабатывает этические нормы для использования автономных машин, особенно тех, которые он прямо называет роботами-убийцами. Мы близки к созданию дронов, способных самостоятельно спускать курок, поэтому уже сегодня должны предусмотреть и предотвратить вероятность дистанционных убийств. Фонд ответственной робототехники Ноэля Шарки также пытается обратить наше внимание на социальные последствия автоматизации и ее влияние на человеческую природу. «Настало время остановиться и подумать, каким будет наше технологическое будущее, прежде чем оно подкрадется и обрушится на нас», — говорит профессор. Очень важно, что такие предостережения звучат из уст человека уровня Шарки — ведущего мирового эксперта в области робототехники и исследований ИИ, поскольку это свидетельствует о том, что не все, кто говорит о необходимости сделать паузу, — луддиты и паникеры.

Как объяснил мне Шарки во время нашей встречи в Окс­форде в сентябре 2016 года, мы стоим на пороге революции в робототехнике буквально во всех областях, включая здравоохранение, образование, секс, транспорт, сферу услуг, охрану порядка и военное дело. Однако на государственном и международном уровне эту проблему явно игнорируют. «Кажется, все думают, что надо выждать так же, как было в случае с интернетом, — говорит Шарки. — Сегодня некоторые видные фигуры во все горло кричат о том, что ИИ захватит мир и уничтожит всех нас. Их предсказания вряд ли скоро сбудутся, но они поднимают облако пыли, скрывающее от нас насущные проблемы, с которыми мы можем столкнуться уже в ближайшее время. Пока еще искусственный интеллект остается довольно тупым и ограниченным вопреки всеобщему ажиотажу, но постепенно мы движемся к тому, чтобы позволить ему все больше контролировать нашу жизнь».

Фонд Шарки выступает за принятие международного закона о правах человека в технологическую эпоху, призванного определить и ограничить виды решений, которые могут приниматься машинами в отношении людей и взаимодействия людей с роботами. Это сразу заставляет вспомнить знаменитые три закона робототехники Айзека Азимова, но в реальной жизни все обстоит гораздо сложнее.

Однажды я спросил у Эндрю Макафи, сотрудника Массачусетского технологического института и соавтора книг «Наперегонки с машиной» (2011) и «Вторая эпоха машин» (2014), что он считает самым большим на сегодняшний день заблуж­дением, связанным с искусственным интеллектом. Тот лаконично ответил: «Величайшее заблуждение — считать, что наши надежды на сингулярность или страхи перед суперинтеллектом вот-вот станут реальностью». Рассудительное и гуманистическое отношение Макафи к влиянию технологий на общество мне очень близко. Его прагматизм перекликается и с позицией эксперта в области машинного обучения Эндрю Ына, ранее работавшего в Google, а сейчас — в китайской компании Baidu. По меткому замечанию Эндрю, беспокоиться сегодня о сверхразумном злодейском ИИ — все равно что тревожиться о «проблеме перенаселенности на Марсе».

Это не значит, что я не ценю обеспокоенность Бострома и его единомышленников нашим будущим. Просто хочется, чтобы они больше заботились обо мне и о каждом из нас, ведь существует масса насущных проблем, требующих скорейшего решения. Я склонен рассматривать негативные эффекты внедрения новых прорывных технологий как болезнь роста, последствия которой окажутся далеко не так страшны, как это выглядит поначалу. Новое не всегда лучше старого, но неправильно думать, будто новое всегда хуже старого: такой пессимистический взгляд был бы пагубен для развития нашей цивилизации.

Мы не можем в точности знать, чтó принесут с собой новые технологии, но я верю в молодежь, которая развивается одновременно с ними. Не сомневаюсь, что молодые смогут дать технологиям новую, удивительную жизнь — так же, как это сделало мое поколение, использовав технологии для создания спутников и компьютеров, и как это делает каждое поколение на пути к своим самым грандиозным целям.

Как правило, в заключении авторы сбавляют обороты, завершая разговор; я же, наоборот, хочу вас взбудоражить. Надеюсь, что вы воспримете этот раздел как призыв задуматься об очерченных мной проб­лемах и принять активное участие в создании такого будущего, каким вы хотите его видеть. Эта дискуссия уникальна, поскольку не носит академического характера. Она направлена в грядущее. Чем больше люди верят в позитивное технологическое завтра, тем выше вероятность того, что оно настанет. Мы все формируем наше будущее своими убеждениями и действиями. Я верю, что наша судьба находится в наших руках. Ничто не предрешено. Никто из нас не является просто зрителем. Игра продолжается, и все мы сидим за шахматной доской. И единственный способ победить — мыслить шире и глубже.

Это не выбор между утопией и антиутопией. И не вопрос противостояния технологиям. Да, нам придется очень постараться, чтобы не дать технологиям себя обогнать. Мы прекрасно умеем учить машины выполнять нашу работу вместо нас и будем делать это все лучше и лучше. Единственный путь — постоянно ставить перед собой новые задачи и цели, создавать новые отрасли, даже если пока мы не представляем, как к этому подступиться. Нам нужны новые рубежи и воля, чтобы их штурмовать. Наши технологии избавляют нас от многих трудностей и значительной доли неопределенности, поэтому необходимо применять их для решения все более сложных, сопряженных с высокой степенью не­определенности проблем.

Я утверждаю, что благодаря технологиям, которые высвободят наши творческие способности, наша человеческая сущность проявится еще сильнее. Но человек — это намного больше, чем творчество. Мы обладаем такими возможностями, с которыми никогда не сможет сравниться ни одна машина. У машин есть инструкции, у нас есть цели. Машины не могут мечтать, даже в режиме сна. Люди — могут! И нам нужны интеллектуальные машины, чтобы превращать наши дерзкие мечты в реальность. Если же мы перестанем мечтать, перестанем стремиться к грандиозным целям, мы сами можем превратиться в машины.