Мы только что могли убедиться, как привлекательная черта эгалитарной утопии, а именно тот самый факт, что люди сохраняли за собой право распоряжаться собственной судьбой, оказывается под угрозой полного разрушения с развитием сверхразума. Но с этой опасностью можно совладать путем создания Стража, то есть сверхразума, который практически не вмешивался бы в жизнь людей, а единственной своей целью имел бы предохранение от создания другого сверхразума. Он позволил бы людям сохранять для себя свою эгалитарную утопию более или менее неограниченное время, возможно даже при распространении жизни в космосе, как будет показано в следующей главе.

Как это может работать? Искусственный интеллект Стража организован таким образом, что сохраняет эту простую цель во время его рекурсивных самоулучшений и превращений в сверхразум. Его способности будут направлены и на то, чтоб отслеживать любые попытки других людей создавать конкурирующий сверхразум. Пресечение таких попыток будет наименее репрессивно. Для начала он будет всячески способствовать распространению культурных мемов, прививающих людям идею, что полагаться исключительно на собственные силы и не прибегать к помощи сверхразума – это добродетель. Если какие-то исследователи все же будут продолжать свои попытки построить его, Страж постарается убедить их в том, что не стоит этого делать. Если и это не поможет, станет отвлекать их на что-то другое и при необходимости саботировать их работу. При его неограниченных технологических возможностях можно сделать так, что его саботаж окажется совершенно незаметным, – например, если благодаря использованию нанотехнологии он будет периодически очищать память и самих исследователей, и их компьютеров, где хранилась информация об уже достигнутых успехах.

Отношение к созданию Стража, вероятно, будет противоречивым. Идею, наверное, поддержат многие религиозные люди, отвергающие существование богоподобного искусственного интеллекта c божественными же функциями, ссылаясь на то, что Бог у людей уже есть и что человеческое достоинство не позволяет им строить себе другого, пусть даже и лучшего. Другие сторонники обретения Стража будут говорить, что с его помощью человечество не только будет сохранять контроль над своей судьбой, но и защитит себя от других рисков, связанных с наличием сверхразума, вроде тех апокалипсических сценариев, которые мы обсудим дальше в этой главе.

С другой стороны, противники такой затеи станут говорить, что Страж ужасен тем, что навсегда дезавуирует технологический прогресс людей, обрекая их на прозябание. Например, если распространение жизни в космосе, как выяснится, требует помощи сверхразума, то Страж навсегда запрет нас внутри Солнечной системы. Вдобавок, в противоположность богам прочих религий, искусственный интеллект Стража совершенно безразличен ко всему, что делают люди, лишь бы только они не пытались построить еще один сверхразум. Он никак не поможет нам избежать новых колоссальных бед или даже самоистребления.