Становление цифровых платформ невозможно без интеллектуальных агентов в качестве нового человеко-машинного интерфейса. Первые поколения таких агентов будут основаны на слабом ИИ, способном имитировать основные сценарии взаимодействия с пользователями. Как мы знаем, некоторым ботам уже удалось пройти разговорный тест Тьюринга в его простейшем варианте. Но при тестировании гораздо легче имитировать интеллект, чем в действительности. Разумное поведение роботов в реальном мире потребует настоящего интеллекта, а не его имитации.

Главное содержание следующего этапа – широкого внедрения в нашу жизнь разумных роботов – мы связываем с появлением у них искусственной психики, то есть с технологией сильного ИИ. Только обладая искусственной психикой человеческого уровня, роботы будут способны заменять или дополнять людей на производстве в массовых масштабах, обучаясь самым разным специальностям. А дальнейший рост экономики в отсутствие роста народонаселения возможен только за счет все более многочисленной армии все более совершенных роботов.

Появление операционной системы роботов, основанной на искусственной психике, ознаменует начало массовой робототехники, замену людей роботами с передачей последним всех человеческих знаний, навыков и ценностей. Это и станет основным содержанием рассматриваемого этапа – становления человеко-машинной цивилизации.

Как мы уже не раз отмечали, машинный разум, как и человеческий, будет коллективным: роботы и агенты будут активно взаимодействовать друг с другом и с людьми, образуя сложные цепочки создания стоимости с очень высокой степенью разделения труда. Условно говоря, в экономике вместе с 10 млрд человек будут действовать 100 млрд и более искусственных личностей. Их число будет ограничено лишь доступными вычислительными мощностями, которые, как мы знаем, за 10–20 лет вырастут в 100–10 000 раз. С увеличением уровня разделения труда вырастет и эффективность экономики, то есть общее количество производимых благ в расчете на человека.

Как это все будет выглядеть на практике? Прежде всего, наши персональные ассистенты, обретя свою собственную психику, станут гораздо более самостоятельными и креативными, в отличие от прежних, поведение которых было в большой степени запрограммировано. Они смогут понимать нас и наши мотивы гораздо глубже и тем лучше, чем ближе будет устройство искусственной психики к человеческой. Соответственно, им можно будет перепоручить представление наших интересов в цифровом мире, ведение переговоров от нашего лица с такими же агентами других людей. Иначе говоря, мы сможем «повысить» их с должности секретаря-ассистента до роли агента-импресарио или поверенного с определенными полномочиями, вплоть до подготовки и заключения юридически значимых смарт-контрактов.

То же относится и к роботам, которые будут связаны между собой и с программными агентами в единую сеть, обмениваясь информацией и знаниями в процессе совместной с людьми мыследеятельности. Вот почему важно иметь единую архитектуру искусственной психики агентов и роботов, как можно более похожую на человеческую. В этом случае им легче будет понимать наш язык, мотивы и ценности, то есть действовать именно в наших интересах.

Как мы уже говорили, обучаться агенты и роботы будут через одобрение или критику своих действий со стороны людей с помощью встроенного в их психику аналога дофаминовой системы – электронного кошелька. Но цепочки создания стоимости в современной экономике достаточно длинные, так что роботы будут обслуживать и получать вознаграждения также и друг от друга. Возникнет коллективное обучение роботов через перераспределение денежного потока от конечных пользователей – людей. Взаимное рейтингование роботами поведения друг друга – очень важная составляющая будущей системы коллективной безопасности, ведь с появлением агентов со сверхчеловеческим интеллектом контролировать свои поступки и ценности смогут лишь они сами. Люди просто не смогут предугадывать мотивы их поведения и будут неспособны оценивать агентов адекватно. Они сумеют оценивать лишь текущие, но не отдаленные последствия их действий, предвидеть которые будут не в состоянии.

На этом важном моменте стоит остановиться несколько подробнее. Когда люди оценивают поведение друг друга, они не столько рассматривают сами поступки, сколько стараются угадать стоящие за ними мотивы. Если вам вдруг предлагают слишком выгодную цену за какую-то услугу, вы инстинктивно ищете в этом какой-то подвох, опасаясь возможных неприятностей в будущем. На языке теории обучения вы решаете задачу обратного обучения с подкреплением: по наблюдаемому поведению агента угадать его предполагаемую функцию подкрепления – что именно его мотивирует. (Обычное обучение с подкреплением состоит, напротив, в нахождении оптимального поведения агента, соответствующего наблюдаемым подкреплениям – мотивирующим сигналам.)

Обратное обучение с подкреплением – это следующий уровень рефлексии мышления, попытка поставить себя на место другого и угадать его мотивы, желания и чувства. В мозге приматов имеется специальная система зеркальных нейронов, которые возбуждаются и когда вы сами что-то делаете, и когда это делают другие, что для приматов как общественных животных, и особенно для людей, чрезвычайно важно. Так, способность обезьянничать позволяет детям, и не только им, обучаться по принципу «увидел и сделал». Естественно, что этой способностью нам следует наделить и искусственную психику роботов, чтобы они легче обучались, не были бездушными, могли нам сопереживать и действовать в наших истинных интересах. Ведь, если они будут понимать, что нами движет, им будет легче сформировать свое поведение в соответствии не только с наблюдаемыми, но и с предполагаемыми подкреплениями с нашей стороны.

В отличие от обычного, обратное обучение с подкреплением предполагает построение модели психики других агентов (theory of mind), на что способны очень немногие виды животных. Человек же способен и на большее – построение модели своей собственной психики, то есть объяснение своих собственных мотивов. Это еще более высокий уровень рефлексии – самосознание. (У детей понятие «я» формируется постепенно, по мере совершенствования их способности угадывать мотивы других людей.) Ничто не мешает переходу на такой уровень сознательного мышления и в рамках искусственной психики при наличии в ней соответствующих архитектурных возможностей для такого рода перехода.

Вернемся, однако, к развитию человеко-машинной цивилизации, где благодаря обратному обучению с подкреплением истинные (в смысле – реальные) человеческие ценности будут моделироваться и распространяться по сети распределенного машинного разума. Возникает вопрос: какие ценности мы сможем передать машинному интеллекту? Ведь они могут существенно отличаться у разных социальных групп, сообществ и стран, поэтому противоречия внутри человеческого разума неизбежно воспроизведутся и внутри коллективного машинного разума. Мир на Земле будет существенным образом зависеть от степени остроты этих внутренних противоречий. Образно говоря, если мы хотим договориться с будущим сверхинтеллектом, мы должны сначала суметь договориться между собой, дорасти до бесконфликтной самоорганизации всего мирового сообщества.

Здесь мы возвращаемся к ключевым проблемам ближайших десятилетий. Как нам преодолеть возможную турбулентность при переходе на новый уклад? Как при гиперболическом распределении доходов избежать конфликтов интересов, разрешимых только силовыми методами? Как избежать появления в авторитарных государствах «большого брата», выявляющего и обезвреживающего инакомыслящих любыми возможными способами? Как избежать появления на службе у военных искусственных стратегов со сверхчеловеческими способностями, которых уже никто не сможет контролировать и единственной целью жизни которых является уничтожение «условного противника»?

По мысли Юваля Харари, человечество обязано своими успехами способности людей формировать ментальные конструкции, «истории», в которые верят большие группы людей, – от религии и идеологии до общественных институтов и денег. Эти символы веры сплачивают человеческие общности, обеспечивают необходимый уровень взаимного доверия, понимания мотивов друг друга.

Беда лишь в том, что такие конструкции у разных групп людей могут существенно различаться. Соответственно между сообществами с разными системами ценностей возникает взаимное недоверие, потому что люди не понимают мотивов поступков чужаков либо эти мотивы кажутся им чуждыми – «варварскими». Возникает двойная мораль – по отношению к своим и к чужим. Если внутри своей общности принято соблюдать общие ценности, то в отношении к чужакам они уже необязательны, а то и нежелательны. Стремление унифицировать систему ценностей неискоренимо и является причиной бесчисленных войн, из которых человечество не вылезало со времен геноцида неандертальцев и прочих гоминид.

Что ж, у всякой медали есть две стороны. Однако остается надежда, что людям удастся сплотиться в единую общность, осознав общую для всего человечества опасность, как это описано в трилогии китайского фантаста Лю Цысиня «Задача трех тел», где человечество сталкивается с нашествием более совершенного инопланетного разума. Но там из-за космических расстояний людям для принятия ответных мер отпущено 400 лет. В реальности нам до пришествия более совершенного машинного разума остается каких-то лет 20–40. Значит, надо спешить!