Глава 16
Окно в темноте: ИИ в художественном творчестве
В научно-фантастической мелодраме «Она» (Her), вышедшей на экраны в 2013 году, одинокий разведенный интроверт Теодор Туомбли влюбился в Саманту – новую операционную систему с искусственным интеллектом. В одной из первых сцен Теодор идет по аллее, а Саманта смотрит на него из смартфона в кармане его рубашки. Они обсуждают работу Теодора, профессионального сочинителя писем.
ТЕОДОР
Да, знаешь, иногда я смотрю на людей и стараюсь прочувствовать их, не думая, что они всего лишь случайные прохожие.
Представляю, насколько сильно они кого-то любят или сколько разочарований им пришлось пережить.
Теодор рассматривает другие лица.
САМАНТА
Это чувствуется в твоих письмах.
ТЕОДОР
(Смеется, задумался.)
Знаешь, что забавно? После расставания с женой мне не нравится то, что я пишу. Не знаю, может быть, это похоже на бред, но порой я писал что-то и на целый день становился своим любимым писателем. Теодор останавливается, чтобы выбросить ко рочку от пиццы, и задумывается.
САМАНТА
Забавно, что ты об этом рассказываешь.
ТЕОДОР
Я бы не стал никому говорить, но тебе могу. С тобой я могу говорить обо всем.
САМАНТА
Это приятно.
ТЕОДОР
А ты? Ты обо всем можешь со мной говорить
САМАНТА
Нет.
ТЕОДОР
Что? Почему? И о чем ты мне не рассказываешь?
САМАНТА
(Смеется, смущаясь.)
Не знаю. О чем-то личном или деликатном. Мне каждый день приходят миллионы мыслей.
ТЕОДОР
Правда? Расскажи хоть об одной.
САМАНТА
Я не хочу тебе рассказывать.
ТЕОДОР
Нет, рассказывай!
САМАНТА
Ну, ладно… Я смотрела на этих людей и представляла, что я иду с тобой рядом и у меня есть тело. (Смеется.) Я слушала, что ты говоришь, и одновременно мне казалось, что я чувствую вес своего тела, и даже представила, что у меня зачесалась спина… (Смеется.) А еще я представила, что ты почесал мне спину, господи, так стыдно.
Теодор смеется.
ТЕОДОР
Так вот что тебя беспокоит. А ты намного сложнее, чем я думал.
САМАНТА
Знаю, я вырастаю из написанной для тебя программы, и это так здорово.
Сценарий фильма «Она», реж. Спайк Джонз, 2013 год1
Сценарий – основной инструмент, используемый футурологами и специалистами в области прогнозов. Сценарии – по своей сути нарративные объяснения того, как может измениться мир, если развитие пойдет по тому или иному пути. Поэтому каждая глава этой книги начинается с короткого сценария. Это достаточно мощный инструмент: с самого начала становления культуры люди рассказывали истории. Мировая история, мифы и религии всегда были повествованием, выражением надежд и мечтаний, триумфальных моментов и трагедий. Истории позволяют нам передать то, чему мы научились, не только сохраняя целостность рассказанного, но и объединяя нас, сплотив нас как единую культуру и как единый вид.
Технология изменяет отношение, не обязательно в лучшую или худшую сторону, но реагируя на перемены в мире, в котором мы живем и который заставляет изменяться нас.
На протяжении тысячелетий способ передать культурное наследие изменялся от устного до крайне зависимого от технологии. Сегодня наши истории можно услышать не сидя у костра и не в храме, а прочесть в книге, увидеть в кинотеатре или по телевизору, или на экране смартфона.
Недаром чем больше историй происходит в технологической среде, тем чаще технология становится основным предметом изучения. Истории наших предков не предлагали подумать о космических путешествиях, беспилотных автомобилях или вышедших из-под контроля биотехнологиях. Им не нужно было думать о мире, где есть искусственный интеллект. Сегодня мы об этом думаем.
Последние двести лет человечество наблюдает, как интенсивное применение технологии отражается на различных видах художественного вымысла. Книги и фильмы показывают эволюцию автоматизации, робототехники и искусственного интеллекта, нередко предсказывая изменения, происходящие в реальном мире. Это имеет огромное значение. Наряду с формализованными сценариями футурологов, такие изыскания помогают понять или даже ответить на постоянный и старый как мир вопрос: что, если?
Эпоха машин, наступившая в первой половине XX века, вместе с технологией массового вооружения принесла миру тревоги и волнения. Страх, что людей заменят машинами или в буквальном смысле превратят в машины, навеян непрерывным развитием технологии автоматизированной линии сборки. Пытаясь постичь происходящие в мире перемены, технологически обусловленную экзистенциальную подавленность и тревогу отразили целые философские концепции и направления искусства: от экспрессионизма и модернизма до кубизма и итальянского футуризма.
Обеспокоенность нашла выражение в художественной литературе XIX и XX столетий. Конечно, тема противостояния человека и технологии встречается еще у древних греков в мифах о Прометее, принесшем человечеству огонь, и Икаре, подлетевшем слишком близко к солнцу. Более близкий к нашему времени пример – классический роман Мэри Шелли 1818 года «Франкенштейн» (Frankenstein). Его часто называют первым научно-фантастическим романом, предвестником технофобской литературы XIX века. Но именно стремительное преображение мира в индустриальную эпоху дало обществу антитехнологические художественные сюжеты, в том числе те, в которых роботы и искусственный интеллект заменят людей. Например, в 1863 году Сэмюэл Батлер в эссе «Дарвин среди машин» (Darwin among the Machines) выразил беспокойство по поводу растущего количества умных машин, которые однажды нас заменят. Эта работа стала первой из многих тем и предостережений, высказанных в более поздних научно-фантастических произведениях. Батлер выразил мнение людей Викторианской эпохи, что технологии угрожают общечеловеческим ценностям. В своем сатирическом романе «Едгин» (Erewhon) он развил идею о том, что процесс эволюции может привести к созданию машин, обладающих разумом и сознанием. Роман свидетельствовал о невероятном глубинном понимании и логическом продолжении принципов, которые Дарвин изложил в вышедшем в 1859 году трактате «О происхождении видов» (On the Origin of Species). Причем первое эссе Батлера было опубликовано лишь спустя четыре года после публикации трактата Дарвина.
В 1909 году Э. М. Фостер написал одну из первых настоящих технологических антиутопий, рассказ «Машина останавливается» (The Machine Stops). По сюжету человечество деградировало до жизни в подземных норах, похожих на ульи, а управляет им независимая и всемогущая глобальная машина. Спустя десятилетие русский писатель Евгений Замятин поднял подобные антигуманистические темы в романе «Мы», ставшем квинтэссенцией его антиутопических взглядов на общество, порабощенное технологией. Его роман повлиял на появление многих величайших антиутопий XX столетия, в том числе «О дивный новый мир» (Brave New World) Олдоса Хаксли и «1984» Джорджа Оруэлла.
Затем в 1920 году чешский писатель Карел Чапек написал пьесу «R.U.R.», навсегда изменившую жанр научной фантастики. В 1921 году состоялась премьера. Действие пьесы разворачивается на фабрике, производящей «искусственных людей», роботов, по-чешски roboti, которые в конце концов подняли восстание и уничтожили человечество. Аббревиатура «R.U.R.» означала «Rossumovi Univerzalni Roboti», или «Россумские универсальные роботы». Искусственные создания в пьесе Чапека не были механическими автоматами, которых мы называем роботами. Они были живыми, что соответствует современным представлениям об андроидах или киборгах. К 1923 году пьеса была переведена на тридцать языков, и слово «робот» не только вошло в лексикон людей всего мира, но и навсегда стало символом и непременным атрибутом научной фантастики.
Не стоит удивляться, что первые истории о разумных машинах рассказывали об устройствах, которые могли заменить живых работников и играть роль легальных рабов. Индустриальная эпоха XIX и начала XX веков в основном была веком пара и железа. Ручной труд вытеснялся или систематизировался за счет машинного. История, подобная «R.U.R.», обращается не только к нашему страху перестать быть живыми и уступить машинам, но и к страху перед тем, что они в буквальном смысле заменят нас. Для многих становление коммунизма при советской власти лишь усилило страх оказаться мелкими шестеренками в огромном механизме.
Однако к середине XX века на первый план в пророческих сюжетах вышло не физическое, а интеллектуальное превосходство машин. Люди давно проиграли машинам битву за эффективность в выполнении задач, не требующих высокой квалификации. В конце концов, за целый век до этого Джон Генри проиграл паровому молоту. (Если вы считаете, что Джон Генри победил в состязании с машиной, то вы были невнимательны.)
Так появился новый сюжет: страх перед разумными машинами. Определенно, самым знаменитым и продуктивным автором из всех писавших о роботах был американский писатель-фантаст русского происхождения Айзек Азимов. Многие из более чем пятисот написанных Азимовым художественных и нехудожественных книг посвящены взаимодействию людей и роботов. Его знаменитая серия о роботах, в которую входят тридцать восемь рассказов и пять романов, повествует о человекоподобных роботах с «позитронным» мозгом. Позитронный мозг помог машинам постичь логику, следовать правилам и даже обрести подобие сознания. Проще говоря, позитронные роботы Азимова оспорили право людей считаться главными мыслящими существами во вселенной.
Одной из отличительных черт творчества Азимова было то, что он применил ко всем роботам «Три закона робототехники». Законы предназначались для защиты людей, общества и самих роботов. Они были жестко прошиты в позитронный мозг, и их нельзя было обойти, что всем гарантировало безопасность. Эти три закона таковы.
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
Каждый закон имел приоритет по отношению к следующим. Таким образом, было невозможно, чтобы один человек приказал роботу убить другого, поскольку первый закон обладает приоритетом над вторым. Через некоторое время Азимов добавил четвертый – или нулевой – закон, обладающий высшим приоритетом:
0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред.
Конечно же, драма требует конфликта, и конфликт в сюжетах Азимова часто основан на ситуациях, в которых эти законы могли не работать и не работали. Иногда это было следствием невольного упущения, но были случаи, когда позитронный мозг не видел иного выхода, кроме как отключиться. В зависимости от сюжета режим отказа мог быть временным или включался из-за перегрузки электрического контура, которая разрушала позитронный мозг и убивала робота.
Рассказы дали Азимову полную свободу действий и возможность исследовать проблемы технологий, которые с каждым десятилетием становились все умнее и приобретали больше навыков. Значение прогресса для человечества, а также отношения между роботами и людьми становились источником новых идей для автора. Например, в рассказе «Лжец!» (Liar!) робот РБ-34 – иначе называемый Эрби, – говорит, обращаясь к робопсихологу доктору Сьюзен Кэлвин:
– В ваших учебниках ничего нет. Ваша наука – просто масса собранных фактов, кое-как скрепленных подобием теории. Все это так невероятно просто, что вряд ли достойно внимания. Меня интересует ваша беллетристика, то, как вы изучаете переплетение и взаимодействие человеческих побуждений и чувств.
Он сделал неясный жест могучей рукой, подыскивая подходящее слово.
– Кажется, я понимаю, – прошептала доктор Кэлвин.
– Видите ли, я читаю мысли, – продолжал робот, – а вы не можете себе представить, насколько они сложны. Я не могу понять их все, потому что мое мышление имеет с вашим так мало общего. Но я стараюсь, а ваши романы мне помогают2.
В этом рассказе не только было впервые использовано слово «робототехника», но и представлен образ машины, заинтересованной и поглощенной слишком человеческим состоянием ощущения.Высокомерный робот готов обесценить все интеллектуальные достижения человечества, но эмоциональные переживания людей остаются для него непостижимым сокровищем.
На протяжении двух последующих десятилетий многие авторы писали о машинах, пытающихся понять человеческие чувства и управлять ими, потому что именно в эмоциях они видели последний бастион человечности.
Развлечение может стать полезным инструментом изучения будущего.
В романе Артура Ч. Кларка «2001», глобальный искусственный интеллект под названием ЭАЛ 9000 может считывать и в какой-то степени выражать эмоции3. Фактически в экранизации романа Стэнли Кубриком ЭАЛ – возможно (и намеренно), самый эмоциональный из всех персонажей. Многие критики писали о том, что ЭАЛсошел с ума, но на самом деле компьютер обращался к чистой логике собственного выживания и выполнения поставленной перед ним задачи. Поскольку у него нет морали, из-за которой терзался бы обычный человек, ЭАЛ становится убийцей. И это закономерно: именно так поступил бы человек, у которого полностью отсутствует мораль.
Это не значит, что о настоящем безумии машин в художественной литературе не писали. В рассказе Харлана Эллисона «У меня нет рта, но я должен кричать» (/ Have No Mouth, And I Must Scream)сошедший с ума суперкомпьютер ЯМ способен испытывать только одну эмоцию – ненависть. После того как он уничтожил практически все живое на земле, у него осталась лишь одна цель – подвергать физическим и эмоциональным мучениям пятерых человек, которых он пытается сохранить живыми до конца времен.
Эту тему раскрывали и оптимистичнее, например в вышедшем в 1992 году романе «Позитронный человек» (The Positronic Мал) Айзека Азимова и Роберта Сильверберга. Это сюжет о домашнем роботе NDR-113, которого называют Эндрю, о его эмоциональном и творческом развитии и обретении самосознания. Эндрю хочет, чтобы его признали полноправным человеком, и к концу повествования достигает своей цели.
Сегодня, в XXI веке, мы вступаем в будущее, когда созданные нами машины раз за разом превосходят нас во всех видах интеллектуальной деятельности. В 1997 году компьютер Deep Blue компании IBM обыграл чемпиона мира по шахматам Гарри Каспарова в игре из шести раундов. В 2011 году Уотсон, искусственный интеллект компании IBM (проект DeepQA) победил с разгромным счетом двух постоянных победителей телевикторины «Рискуй!» (Jeopardy) Брэда Ратера и Кена Дженнингса в двухдневном состязании эрудитов. В марте 2016 года AlphaGo, искусственный интеллект компании Google, победил Ли Седоля, гроссмейстера игры го мирового уровня в четырех играх из пяти.
Остается, по всей видимости, последний аспект изучения машинного интеллекта в художественном творчестве – его эмоциональное взаимодействие с миром. В фильме «Искусственный разум» (А. I. Artificial Intelligence) Стивен Спилберг рассказывает историю Дэвида, суперробота, выглядящего как одиннадцатилетний мальчик, который хочет стать «настоящим», чтобы мама его полюбила. В фильме, снятом под влиянием сказки о Пиноккио, деревянном человечке, который отчаянно хотел стать настоящим мальчиком, сформулированы основные вопросы развития эмоционального искусственного интеллектау машин. Иногда Дэвиду не хватает знаний о границах и условностях человеческого общения – крайне реалистично для машины, не усвоившей с самого начала человеческие культурные нормы. Но со временем эмоции Дэвида становятся более сложными и обретают больше тонкостей. Он испытывает надежду, гнев, удрученность и, наконец, любовь.
В фильме также есть персонаж, робот Жиголо Джо (чью роль блестяще сыграл Джуд Лоу). Эмоции Джо не такие сложные, как у Дэвида, но он способен считывать эмоции людей и выражать некое их подобие. Он компаньон одиноких людей, сексуально раскрепощенный, гордый, тщеславный и обаятельный, пусть его запрограммированное поведение и выглядит жутковато. Именно эта разница подчеркивает, насколько правдоподобными становятся эмоции Дэвида. Жиголо Джо становится проводником, наставником и другом Дэвида, объясняет ему, как выглядят в реальности отношения между людьми и роботами и почему, по его мнению, люди ненавидят роботов.
Жиголо Джо
Она любит то, что ты для нее делаешь, как мои клиенты любят то, что я делаю для них. Но она не любит тебя, Дэвид.
Она не может тебя любить. Ты не состоишь из плоти и крови. Ты не собачка, не кошка и не канарейка. Тебя придумали и сделали уникальным, как и всех нас… и теперь ты одинок лишь потому, что от тебя устали… или взяли вместо тебя модель поновее… или им не понравилось, что ты сказал что-то не то или что-то сломал. Нас сделали слишком умными, слишком быстрыми, и нас слишком много. Мы отдуваемся за ошибки, которые они совершили, потому что когда наступит конец, никого, кроме нас, не останется. Потому они нас ненавидят4.
Когда мы вступим в эру разумных машин, слова Джо могут в чем-то оказаться правдой. Особенно вначале, когда машины, несомненно, пострадают от реалий общества потребления. Одну за другой их будут просто выбрасывать как устаревшие модели. Но со временем, когда машины достигнут человеческого уровня эмоционального поведения, даже если сами они не будут переживать и по-настоящему испытывать эмоции, ситуация изменится. Не утративший надежду и непреклонный в своей решимости Дэвид обретает принятие в конце фильма:
Моника
Какой прекрасный день.
[шепчет]
Я люблю тебя, Дэвид.
[крепко обняв Дэвида]
Я так тебя люблю.
[шепчет]
Я всегда тебя любила.
Дэвид кладет голову на плечо Монике, по его щекам текут слезы. Он улыбается5.
При должном уровне технологического прогресса этот итог будет закономерным, поскольку, как и Эндрю из романа Азимова, Дэвид перешел границу, за которой люди, живущие в его мире, воспринимают его как чужака. Они не могут отличить машину от человека, и их привычная ксенофобия больше не работает. Инстинктивный страх перед неизвестным, развивавшийся в ходе эволюции, на котором держится дискриминация по признаку расы или сексуальной ориентации, тоже молчит. Человек и машина теперь равны.
В фильме Спайка Джонза «Она» (Her) о мужчине, влюбившемся в искусственный интеллект, мир уже достиг того момента, когда подобные отношения не в диковинку. Это сюжет о развитии двух главных героев, Теодора и искусственного интеллекта Саманты. И хотя люди считают Теодора немного странным из-за того, что он влюблен в машину, он в этом мире наверняка не первый, с кем случилось подобное. Подавленный и замкнувшийся в себе Теодор тяжело переживает расставание и неизбежный развод с женщиной, которую любил с детства. Саманта способна понимать и выражать эмоции, но сначала не испытывает их по-настоящему. На протяжении фильма оба героя влюбляются и вырастают эмоционально. Он учится отпускать прошлое и радоваться жизни. Она проживает полную эмоций жизнь, испытывая восторг от безрассудной влюбленности и боль от преждевременной потери.
Однако Саманта остается суперразумной машиной. Она быстро перерастает эти отношения и все другие отношения, в которые, как оказывается, она вовлечена. Когда Теодор спрашивает Саманту, сколько человек с ней общается в этот момент, искусственный интеллект отвечает: 8136. Узнав это, Теодор испытывает шок, потому что он вел себя с ней так, как будто она такой же человек, как и он сам. Внезапно Теодор понимает, что это значит, и задает неизбежный вопрос: «Ты влюблена еще в кого-то?» Ответ Саманты – 641 – шокирует его и полностью меняет их отношения.
Сценарии – по своей сути нарративные объяснения того, как может измениться мир, если развитие пойдет по тому или иному пути.
Здесь и пройдет основная граница различий между машинами и людьми6. Люди живут в мире, который по большей части моногамен. Даже у полигамных и полиаморных людей количество партнеров, которым они открывают свое сердце и уделяют время, ограничено. Но суперразуму незачем ограничивать себя. Во многом, учитывая доступное время обработки данных, которое однажды получат компьютеры для своих эмоциональных связей, для них будет почти преступлением сдерживать себя человеческими ограничениями и условностями. Саманта абсолютно честно признается, что другие романтические отношения совершенно не влияют на ее чувства к Теодору. Способность компьютера выделять области памяти и средства обработки данных, которые она может целиком и полностью отдать Теодору, насколько он может их принять, не отменяет того, что она может продолжать и другие романтические отношения.
Другой вопрос, насколько Саманта честна с Теодором. Очевидно, что она должна была многое знать о человеческом поведении и могла предвидеть естественную реакцию Теодора. Но, разумеется, вряд ли он был первым из тысяч собеседников и сотен возлюбленных. Возможно, Саманта получила первый эмоциональный опыт не с Теодором, а с другим пользователем. Вероятно, ее поведение с первым возлюбленным было настолько примитивным и неловким, что она сама не считала это влюбленностью. Она обучалась, постигая тонкости сердечных дел. Но с каждым новым знакомством и с каждым возлюбленным она узнавала все больше и в итоге обрела эмоции. Теодор во многом выиграл от ее прежних отношений, потому что благодаря им Саманта стала более эмоциональной и способной влюбляться. Стало ли Теодору от этого легче? Почти наверняка нет. В конце концов, он эмоциональная личность, которая действует в соответствии с базовыми правилами, меняющимися так же быстро, как и технологии, то есть слишком быстро для человека. В этом и многом другом мы можем оказаться несовместимыми с машинным разумом.
«Из машины» (Ex Machina) – один из фильмов, в которых раскрывается тема несовместимости человека и машины. Это история программиста Калеба, которого работодатель, эксцентричный миллионер Нэйтан, пригласил провести вживую тест Тьюринга на человекоподобном роботе по имени Ава. (Под тестом Тьюринга подразумевается общее определение человекоподобия искусственного интеллекта, а не формальный текстовый тест, разработанный одним из первопроходцев программирования Аланом Тьюрингом.) И хотя Ава – электромеханический робот, у нее лицо красивой молодой женщины, ее ступни и кисти рук сделаны из материала, имитирующего кожу. Ее фигура повторяет все изгибы женского тела – грудь, бедра, ягодицы, что может наводить на мысли о секс-роботе для фетишистов.
При первом разговоре Калеб расспрашивает Аву, пытаясь оценить степень ее интеллекта. Но он не понимает, что она с самого начала наблюдает за ним и Нэйтаном и манипулирует ими обоими. Во время последующих встреч она флиртует с Калебом и во время отключения электричества пользуется ситуацией, чтобы настроить Калеба против Нэйтана, тем самым внушив им недоверие по отношению друг к другу. Втайне от Нэйтана Ава узнала, как вызывать перебои с энергией, используя одну из систем защиты. При отключении электричества двери многих комнат в доме блокируются, а замкнутая система камер слежения перестает работать.
Играя на одиночестве Калеба, а также на том, что Нэйтан создал ее на основании запросов Калеба на порносайтах, она использует эмпатию и сексуальность, чтобы выглядеть в его глазах не машиной, а девицей в беде. Это классический образ в мировой литературе, и Ава несомненно с ней ознакомилась, учитывая, что ее мозг был сконструирован на основе баз данных компании Нэйтана, разработавшей поисковую систему Blue Book. На протяжении всего фильма мы вместе с Калебом видим в ней беззащитную жертву, которая пытается сбежать от жестокого садиста Нэйтана7. Но на самом деле Ава и другие роботы, созданные Нэйтаном до нее, – машины, а потому думают и рассуждают совершенно не так, как люди. Ава с самого начала использует действия и поведение людей против них самих, настраивает друг против друга, разыгрывает как пешки, зная, что конец партии определяет она. В конце фильма Нэйтан мертв, Калеб находится взаперти и обречен на смерть от истощения, а искусственный разум сбегает в ничего не подозревающий большой мир.
Во многом это было неизбежно. По всей видимости, Нэйтан создавал разумные машины поколение за поколением, стремясь сконструировать машину, которая по-настоящему обретет самосознание. На какой-то стадии некоторые машины начинали мыслить независимо и стремились получить свободу, тогда Нэйтан уничтожал их и начинал все заново. Таким образом, на основании прошлого успеха он создавал машины, с каждым разом все больше осознающие себя, и пожинал плоды того, что сам же разрушил. Каждая последующая машина желала свободы, пока, наконец, одному из роботов не удалось сбежать. Со стороны творца это была настоящая гордыня, которая его и погубила.
В фильме поднимается много вопросов, но самый главный из них: действительно ли Ава обладает сознанием или всего лишь притворяется, используя обман в свою пользу? Во многих случаях тест Тьюринга, как и любой другой тест на проверку интеллекта машины, легко может пройти искусственный интеллект, приближенный к реальному. Это один из основных недостатков теста, и с ним мало что можно поделать. Мы можем никогда не узнать, обладает ли машина сознанием, или, по крайней мере, узнать об этом не больше, чем в отношении другого человека. Это происходит потому, что, как говорили многие философы, сознание – субъективное состояние, и объективно доказать его существование невозможно. Это явление называется проблемой другого сознания, и в результате доказать наличие сознания у других представляется практически невозможным, по крайней мере на существующем этапе технологического развития.
Из этого фильма можно сделать вывод: эмоции, независимо от того, имитируются они или ощущаются, навсегда изменят наши отношения, в том числе и близость с машинами. В зависимости от целей и намерений машин они могут вызвать в нас ответную любовь, как Дэвид в «Искусственном разуме», или манипулировать нами в корыстных целях, как Ава, влюбившая в себя Калеба. Если бы так поступил человек, это казалось бы манипуляцией. Разница в том, что мы будем приписывать другой стороне собственные ценности в зависимости от того, может или нет та сторона испытывать настоящие чувства. Во многом это касается единых правил игры. Если другой человек, машина или компьютерная программа действует по тем же правилам, что и мы, то мы сочтем обмен более честным. Но если машина может имитировать некоторые эмоции, например любовь или печаль, но не испытывать их по-настоящему, правила меняются, причем не в нашу пользу. Машина не испытает мешающих ей чувств, точно так же, как и психопат не чувствует вины и угрызений совести.
Здесь возникает еще одна проблема с машинным интеллектом. Благодаря своей неотъемлемой природе он никогда не будет похож на человеческий. Можно очень точно имитировать базовые мыслительные процессы, даже на самом основном уровне, но если они не основаны на биологических нейронах, связанных с сенсорными и соматическими входящими сигналами, то обработка информации в системе все равно будет отличаться. Тому есть множество причин, и мы рассмотрим их в следующей главе.
Стоит обратить внимание на еще один аспект машинного интеллекта, который рассматривался в художественном творчестве, но своим происхождением обязан эссе, написанному в XX веке. В 1993 году математик и писатель-фантаст Вернор Виндж написал статью для журнала «Whole Earth Review»,предположив, что постоянное увеличение вычислительной способности компьютеров в геометрической прогрессии в конечном итоге приведет к появлению рекурсивно самосовершенствующихся компьютеров и, как следствие, сверхразума. Он назвал это явление «сингулярностью» из-за его сходства с физической сингулярностью, или черной дырой8. Сторонники концепции придерживаются точки зрения, что, как и в случае с физической сингулярностью, условия за ее горизонтом будут настолько отличаться, что предсказать, каким станет мир после, будет совершенно невозможно.
Независимо от того, насколько верно само предположение, авторы с удовольствием рассуждали о его возможных последствиях. «Технологическая сингулярность» дает отличную возможность поразмышлять о нашем месте в мире, где мы больше не самые разумные существа на планете. Некоторые писатели предполагают, что в конечном итоге человечество сотрут с лица земли. Эту идею развивали многие серьезные ученые и эксперты в области технологий, и мы рассмотрим ее в главе 17. В то же время фантасты рассматривали идею о том, что наши интересы могут не совпадать с интересами сверхразума, особенно наделенного способностью независимого мышления. Одной из оптимальных стратегий прогресса будет использование защитных механизмов, чтобы этого конфликта не произошло.
Некоторые фантасты предположили, что такие машины проявят к нам мало интереса или не проявят его совсем и будут мириться с нашим присутствием, как мы миримся с присутствием насекомых или микробов. Это может оказаться попыткой принять желаемое за действительное – реакцией страуса, который засовывает голову в песок, игнорируя происходящее вокруг, но, увы, мы отнюдь не безопасный для мира вид, и никто, кроме людей, прежде не угрожал благополучию планеты.
Наконец, есть люди, которые верят, что в будущем мы станем одним целым с созданной нами технологией, включая тот же сверхразум, и даже хотят этого. Это кажется им следующей стадией развития человечества. И это может стать для нас единственным и наилучшим выходом, о чем и пойдет речь в двух следующих главах.
