Подытожим наш краткий обзор рисков, связанных с развитием ИИ. Во-первых, следует признать серьезность и нетривиальность возникающих проблем. Мы должны понимать, что нам предстоит создать не просто сильный ИИ, а безопасный, дружественный сильный ИИ. И по всей видимости, это гораздо более сложная проблема, поскольку она не сводится к чисто техническим решениям, а подразумевает активное участие граждан в выработке согласованной концепции общественной безопасности. Концепции эти могут отличаться от страны к стране. Соответственно, потребуются и какие-то международные конвенции в этой области, особенно в связи с опасностью новой гонки вооружений.

Во-вторых, с технической точки зрения желательно, чтобы безопасность ИИ была встроена в саму архитектуру будущих операционных систем роботов, подобно «трем законам робототехники» Айзека Азимова. Мы подробно обсудим эту концепцию в следующей главе, посвященной технологиям сильного ИИ.

Наконец, last but not least, система коллективной безопасности социума, состоящего из людей, роботов и агентов с искусственной психикой, должна быть обеспечена технологически на основе постоянного взаимного контроля. Мы с самого начала должны понимать, что настанет момент, когда люди не смогут сами контролировать решения более мощных искусственных стратегов, поэтому нам следует заранее создавать механизмы саморегуляции сообщества машинных интеллектов с учетом наших интересов. В дополнение к правильным «социальным инстинктам» в будущей искусственной психике мы должны будем разработать и механизмы взаимного контроля всех членов социума, включая ИИ, подобно тому как технология блокчейн автоматически обеспечивает взаимный контроль транзакций в сети. Будущие цифровые платформы должны будут иметь систему встроенной коллективной безопасности, как в последних поколениях ядерных реакторов со встроенной на физическом уровне системой безопасности.

Итак, мы разобрали, кому и зачем нужен сильный ИИ, а также каким требованиям он должен удовлетворять, чтобы улучшить, а не ухудшить нашу жизнь. Самое время перейти к обсуждению вопроса, насколько реальны наши планы по его созданию и на каком временном горизонте он может появиться.