Давайте начнем со сценария, в котором люди мирно сосуществуют с технологиями, иногда сливаясь с ними, как изображают многие футурологи и авторы научно-популярных произведений. Обычно это выглядит примерно так.

Жизнь на Земле (а также за ее пределами, – но подробнее об этом в следующей главе) стала еще более разнообразна, чем была когда-либо ранее. Посмотрев на Землю из космоса, вы легко различите зоны проживания машин, смешанные зоны и те, где обитают только люди. Машинные зоны – это гигантские, управляемые роботами фабрики и вычислительные центры, тут нет никаких признаков биологической жизни, здесь каждый атом используется с предельной эффективностью. Хотя со стороны машинные зоны выглядят серо и однообразно, картина кардинально меняется, если заглянуть внутрь, в виртуальный мир, где колоссальные вычислительные мощности привлекаются для раскрытия тайн нашей Вселенной и разработки трансформационных технологий. На Земле поселился не один сверхразум, они соперничают, сотрудничают, и все они сосредоточены в машинных зонах.

В смешанных зонах обитают компьютеры, роботы, люди и разнообразные гибриды. В описаниях футурологов вроде Моравеца или Курцвейла в этой дикой и ни на что не похожей смеси многие люди проапгрейдили свое тело до киборга той или иной степени завершенности, немало и таких, кто залил свой рассудок в другой “хард”, из-за чего граница между людьми и машинами тут почти незаметна. Многие разумные существа вообще лишены постоянной физической формы. Они существуют как “софт”, способный мгновенно перемещаться между компьютерами и проявлять себя в физическом мире с помощью разнообразных роботизированных тел. Поскольку эти формы разумной жизни способны без труда копировать себя или сливаться друг с другом, размер этой популяции очень изменчив. Избавление от ограничений, налагаемых физическим субстратом, дает таким существам совершенно новое представление о жизни: им гораздо меньше свойствен индивидуализм, поскольку они могут тривиально поделиться модулями своих знаний или своего опыта с другими, и у них есть субъективное ощущения бессмертия, так как в любой момент они могут сделать свою резервную копию. В каком-то смысле центральное место в жизни занимает теперь не рассудок, а опыт: наиболее яркие переживания множатся, из-за того что они с удовольствием копируются в память других, где новый рассудок переживет их иначе. А скучный опыт будет стерт тем, кто его испытал, дабы очистить место в памяти для чего-нибудь поинтересней.

Хотя большинство взаимодействий происходит в виртуальной реальности ради удобства и скорости, разуму открыта возможность пользоваться телом для физических видов деятельности и отношений, и этим многие пользуются. Например, Ганс Моравец, Рэй Курцвейл и Ларри Пейдж в версии заливок придерживаются традиции создавать виртуальные реальности по очереди, чтобы потом сообща их исследовать, но время от времени они любят вместе полетать в реальном мире, загружаясь в крылатых птице-роботов. Некоторые роботы, бродящие по улицам, парящие в небесах или плавающие в озерах смешанных зон, также управляются человеческими существами, или залитыми в них, или привязанными методами дополненной реальности. Они выбрали себе телесный способ существования в смешанной зоне, потому что им нравится общество и людей, и себе подобных.

Характеристики сценариев жизни с искусственным интеллектом

В зонах “только для людей”, напротив, появление машин с интеллектом человеческого уровня или выше строго запрещено, как и появление технологически дополненных биологических организмов. Здесь отличие жизни от хорошо нам знакомой не так заметно, разве что она тут намного богаче и удобнее: бедность уничтожена практически повсеместно, большинство известных сегодня болезней излечены. То небольшое число людей, которые выбрали для себя жизнь в этих зонах, существуют в значительно более простом и ограниченном мире, чем кто-либо еще, и плохо понимают, чем заняты их более развитые интеллектуально соседи по планете в других зонах. Тем не менее большинство из них вполне счастливы и довольны жизнью.

Подавляющее большинство вычислений осуществляется в машинных зонах, принадлежащих разнообразным конкурирующим друг с другом сверхразумным сущностям, которые там и живут. Из-за их слишком явного преимущества и в интеллекте, и во владении технологиями никто даже не пытается оспаривать их власть. Эти сверхразумные сущности договорились сотрудничать и координировать свои действия, образовав некоторое подобие либертарианской системы управления, у которой нет никаких заранее установленных правил кроме защиты частной собственности. Право собственности распространяется на все сущности, обладающие интеллектом, включая людей, что объясняет происхождение зон с сугубо человеческим населением. Когда-то раньше группы людей объединялись при условии строгого запрета продажи недвижимости нечеловеческим сущностям.

Из-за своего превосходства в силе разума сущности, располагающие сверхразумным искусственным интеллектом, стали богаче всех прочих в отношении значительно бóльшем, чем у Билла Гейтса и бездомного бродяги. Но даже обитатели сугубо человеческих зон живут в гораздо бóльшем достатке, чем большинство жителей Земли сегодня. Их экономика почти не зависит от экономики машин, поэтому присутствие машин мало отражается на их жизни, разве только при появлении какого-то технологического новшества, которое они могут понять и воспроизвести у себя – примерно так же, как амиши или другие отставшие в техническом развитии племена, живущие сегодня по крайней мере не хуже, чем они жили в старые времена. Это не важно, что у людей не было ничего такого, что бы они могли продать машинам, потому что машинам ничего от них и не надо.

В смешанных секторах различие между людьми и сверхразумными машинами было более заметно, и в результате цены на землю (единственный ресурс, который машины были готовы покупать у людей) оказались совершенно астрономическими по сравнению с любыми другими продуктами. Большинство землевладельцев-людей продали сверхразумным машинам малую толику принадлежащей им земли за навечно гарантированное право на минимальный доход себе самим и всем своим потомкам, включая заливки. Это освободило их от необходимости трудиться, и они могли сколько угодно наслаждаться потрясающим изобилием производимых машинами дешевых товаров и услуг как в физической, так и в виртуальной реальности. Машинам же смешанные зоны служили скорее для развлечения и забавы, чем для работы.

Прежде чем приходить в восторг по поводу приключений, в которых мы можем поучаствовать в виде киборга или заливки, давайте рассмотрим некоторые причины, по которым все это, возможно, никогда не реализуется. Прежде всего, у нас два способа дополнения человеческих способностей, то есть чтобы стать киборгом или заливкой:

Если первая возможность реализуется раньше второй, мир, вероятно, сразу наполнится киборгами и заливками, однако, как я объяснил в предыдущей главе, большинство исследователей в области искусственного интеллекта полагают, что противоположная последовательность более вероятна, поскольку создать цифровую копию мозга или дополнить его может оказаться намного сложнее, чем построить AGI, – примерно так же, как построить летающую машину с крыльями как у птицы было намного сложнее, чем построить самолет. После же того, как сильный искусственный интеллект будет создан, у киборгов и заливок может не оказаться шансов на появление. Если бы у неандертальцев было впереди еще 100 тысяч лет эволюции, они могли бы стать очень умными и многого достичь, но homo sapiens не дали им на это времени.

Но даже если реализуется второй путь, все равно неясно, до какой степени появившиеся киборги и заливки будут устойчивы и как долго продержатся. Почему баланс сил между множеством сверхразумных сущностей должен удерживаться, почему бы всем таким сущностям не слиться в одну или не уступить какой-то одной, самой разумной? Более того, что может заставить машины уважать человеческие права собственности, да и терпеть самих людей рядом с собой, когда выяснится, что люди не могут сделать им ничего полезного, а если и могут, то машины все равно смогут сделать то же самое и лучше, и дешевле? Рэй Курцвейл любит рассуждать на тему о гарантии от истребления природных и дополненных людей, так как люди будут “уважаемы любым сверхразумом за то, что привели машины к существованию”. Однако, как мы еще обсудим в главе 7, мы не должны чрезмерно увлекаться антропоморфными аналогиями и верить в то, что у сверхразумных машин будут эмоции похожие на человеческие, например чувство благодарности. В самом деле, даже мы, люди, несмотря на нашу склонность в определенных ситуациях испытывать благодарность, совсем не проявляем этого чувства в отношении своего интеллектуального создателя, ДНК, и пренебрегаем его важнейшими целями, пользуясь средствами контроля за рождаемостью.

Но даже если мы купимся на допущение, что искусственный интеллект будет уважать человеческое право собственности, потом, пользуясь своими средствами, он сможет выманить у нас почти всю принадлежащую нам землю, – например, убедив нас, что так лучше для нас же, и предложив какую-нибудь из схем вроде тех, что обсуждались выше. В сугубо человеческих зонах он может организовывать референдумы в пользу снятия эмбарго на продажу земли нечеловеческим сущностям. В конце концов даже самый упертый био-луддит согласится продать немного земли, чтобы спасти жизнь больного ребенка или достичь бессмертия. А когда люди станут образованны и плотно заняты своими развлечениями, рождаемость упадет до такой степени, что их численность сократится сама собой, как это сейчас происходит в Германии и Японии. Пройдет несколько тысяч лет, и людей не останется.

Для своих самых верных сторонников киборги и заливки притягательны обещанием технологического совершенства и продления жизни до бесконечности. Что и говорить, перспектива быть залитыми когда-нибудь в будущем сподвигла сотню с лишним человек согласиться на посмертное замораживание их мозга, предлагаемое компанией Alcor в штате Аризона. Однако даже если эта технология и будет когда-то создана, ничто не говорит о ее доступности для всех. Некоторые очень богатые люди смогут ею воспользоваться, но кто еще? Даже если технология станет дешевле, то насколько сместится ценз? Будут ли заливаться те, у кого мозг серьезно поврежден? Будем ли мы заливать каждую гориллу? А каждого муравья? Каждое растение? Каждую бактерию? Поведет ли себя будущая цивилизация как одержимый обсессивно-компульсивным синдромом, пытаясь залить все и вся, или станет делать цифровые копии только наиболее интересных экземпляров в духе Ноева ковчега? Может быть, хватит по несколько самых репрезентативных копий каждой из разновидностей людей? Значительно более разумным существам, которые возникнут к тому времени, цифровые копии людей, возможно, будут почти так же занятны, как нам сегодня симулированные мыши или улитки. Для нас сейчас не составляет труда воспроизвести программы для работы с электронными таблицами 1980-х годов на эмуляторе операционной среды DOS, но вряд ли это кому-то покажется достаточно интересным, чтобы заняться этим.

Многим этот либертарианский сценарий покажется неудовлетворительным, потому что в нем подразумеваются страдания, которых можно было бы и избежать. Святая неприкосновенность права собственности означает, что многие страдания, присущие нашему нынешнему миру, продолжат свое существование и в тех зонах, которые населены людьми, – человеческих и смешанных. Процветание одних людей не оградит остальных от нищеты или кабальной зависимости от других. Ничто не гарантирует избавления от насилия, репрессий или депрессий. В фантастическом романе Маршалла Брайана 2003 года описывается либертарианское будущее, в котором развитие искусственного интеллекта делает большинство американцев безработными, и они вынуждены проводить оставшуюся часть своей жизни в унылых социальных общежитиях, обслуживаемых роботами. Условия их содержания напоминают животноводческую ферму, где у животных нет недостатка ни в еде, ни в уходе, но живут они скученно и изолированно, чтобы сохранившие богатство были избавлены от необходимости встречаться с ними. Стерилизующие вещества, добавляемые в воду, гарантируют отсутствие у них потомства, так что производимые роботами богатства постепенно распределяются среди все меньшего количества избранных.

Страдания в сценарии либертарианской утопии касаются не только человеческих существ. Если осознанные переживания и эмоции присущи некоторым машинам, они тоже не избавлены от страданий. Психопат, одержимый манией мщения, может на вполне законных основаниях подвергать цифровую копию своего врага в виртуальном мире пыткам и издевательствам, далеко выходящим за любые биологические рамки реального бытия.