Глава 21
В поисках выхода: компьютерный тоталитаризм

Вероятность человеческого вымирания зависит не только от угрожающих нам катастроф, но и от способности людей противостоять им и выживать после них.

Основная сила, обеспечивающая человеческое выживание, – это знание. Если мы будем знать, какие именно катастрофы нам угрожают, где, когда и как с ними бороться, то задача противостояния им существенно упростится. Особенно если это знание будет доказанным и общепризнанным.

В деле защиты от глобальных рисков можно выделить несколько уровней.

Первый уровень – накопление знаний и понимание природы и типологии рисков. Сейчас мы в значительной мере находимся на этом уровне.

Второй уровень – донесение этих знаний до общества и до лиц, принимающих решения. То есть превращение этого знания в общепризнанное и агитация за реализацию тех или иных мер. Яркий пример – лоббирование реализации программ противоастероидной защиты. (Но сначала должно быть достигнуто четкое понимание того, что именно надо делать; нетрудно заметить, что в реальности происходит часто наоборот: агитация подменяет дискуссию.)

Третий уровень – создание системы наблюдения за опасной областью и сил быстрого реагирования, способных пресечь в этой области нежелательную активность. Например, радиолокационное зондирование околоземного пространства и создание ракет-перехватчиков для перехвата астероидов. Или установка камер слежения во всех биологических лабораториях мира и создание соответствующих структур, готовых немедленно действовать в любой точке мира. Или создание всемирной системы ПРО. Наконец, на тот случай, если все эти меры не помогли, должен быть запасной вариант, а именно: создание убежищ для людей. (Этот вариант мы рассмотрим подробнее в следующей главе.)

Сейчас мы остановимся на аспекте предотвращения глобальных рисков, связанном с созданием всеобщей системы наблюдения за людьми. Пользуясь словами Павла Пепперштейна, автора романа «Мифогенная любовь каст», я буду называть это явление «компьютерным тоталитаризмом».

Система наблюдения, способная служить предотвращению глобальных рисков, должна обладать определенными свойствами.

Прежде всего, следует учитывать, что система всеобщего контроля, предназначенная для устранения правонарушений, не обязана распространяться глобально или касаться всех людей, живущих в стране. Однако система всеобщего контроля, предназначенная для устранения глобальных рисков, а именно препятствующая деятельности био– и нанохакеров, имела бы смысл только в том случае, если бы она распространялась по всей территории Земли. В противном случае опасные эксперименты проводились бы именно в том «темном уголке», который не охвачен такой системой.

Разумеется, нет нужды следить за всеми людьми, чтобы пресечь деятельность гипотетических «нано-биохакеров». Но как узнать, за кем именно следить? Достаточно ли установить системы контроля во всех известных биолабораториях, а также проконтролировать всех известных выпускников биофаков? Очевидно, что нет. Но и следить за пенсионеркой Марьиванной тоже абсурдно. С другой стороны, как только мы заявим, что есть некий класс людей, за которыми мы не следим, то потенциальные террористы начнут мимикрировать именно под них.

Система всеобщего контроля должна действовать ДО того, как реальное правонарушение совершено, то есть ДО того, как написан опасный вирус. Следовательно, она должна вычислять потенциальных террористов по косвенным признакам. Такая система работала при тоталитарных режимах, когда на всякий случай арестовывали всех подозрительных людей. Очевидно, что террористы будут стремиться избегать контроля такой системы и противостоять ей. В силу этого любой антиглобалист, протестующий против тотального наблюдения, будет причисляться к потенциальным террористам. И чем жестче будет система контроля, тем больший протест она будет вызывать и тем большее число террористов, глобально же борющихся с ней, порождать. Таким образом, система всеобщего контроля не уменьшит реальное число террористов.

Следующая проблема, связанная с системой всеобщего слежения, состоит в том, что у нее есть, по определению, белое пятно: те, кто следит, оказываются вне наблюдения. Любые организации сталкиваются с такой проблемой и, чтобы бороться с ней, создают «службы внутренней безопасности» – но это только уменьшает размер «слепого пятна», но не устраняет его.

Другая очевидная проблема – это возможность злоупотреблений, так как любая система, созданная для предотвращения глобальных рисков, может работать и для устранения мелких правонарушений, для политического контроля и для собственного выживания в конечном счете.

В середине 90-х Пепперштейн первым обратил мое внимание на то, что компьютеры предоставляют возможность организовать идеальное тоталитарное общество с полным контролем над каждым человеком. После терактов 11 сентября, создания и затем утечек в Интернет огромного количества баз данных эта идея стала общим местом.

Безусловно, система контроля над гражданами может «помочь» в очень многих случаях. Например, чтобы отвратить несознательных индивидов от незаконного копирования музыки, употребления неприличных слов, переедания, злоупотребления наркотиками и алкоголем, нарушения правил дорожного движения. Но все это не имеет отношения к проблемам устранения глобальных рисков.

Или, точнее, имеет, но весьма специфическое: если бы все наши ошибки были обнаружены (а человек по своей природе не может не ошибаться), то каждый заслуживал бы места в тюрьме. Страна, установившая такой контроль над гражданами, стала бы тюрьмой. Более того, для реализации такой системы потребовалось бы изменить природу человека: вероятно, только генетически модифицированные и «чипованные» люди никогда не ошибаются. Но такое изменение означало бы, что природе человека, его творческим способностям будет нанесен значительный ущерб, и, возможно, подобное изменение повлекло бы за собой даже катастрофические последствия.

Далее, для эффективной работы контролирующая система должна превосходить по качеству материала (и по уровню организации) контролируемую. Однако в отношении систем действует тот принцип, что их сложность взаимно со-настраивается, то есть если в городе есть преступники, то в полицию рано или поздно проникнет коррупция. Это означает, что всемирная система контроля может быть успешно вскрыта хакерами, которые смогут тем или иным образом обманывать ее и даже использовать в своих целях.

Только сверхчеловеческая система тотального контроля, созданная искусственным интеллектом, будет иммунна к таким атакам – однако в этом случае люди не смогут ее контролировать, и неизвестно, какие сбои в ней могут произойти.

Поскольку система, о которой идет речь, имеет смысл только как всемирная, то необходимым условием ее возникновения является наличие межгосударственного объединения, которое будет обладать реальными властными полномочиями. (То есть оно должно быть гораздо сильнее современной ООН.) При этом такое объединение будет иметь смысл только в том случае, если будет включать в себя все существующие государства и территории (а не просто их большую часть) и будет иметь права и ресурсы, чтобы развернуть соответствующую деятельность.

Опыт создания подобной конструкции уже есть. После 11 сентября США фактически попытались выстроить систему глобального контроля. Вначале, когда было свежо впечатление от терактов, почти все страны вступили в антитеррористическую коалицию, и она обладала силами и моральным правом атаковать те территории, которые не присоединились к ней, то есть, например, Афганистан. Затем, однако, последовала «реакция распада», так как у многих участников коалиции возникло ощущение, что их используют ради достижения совсем не тех целей, которые были заявлены вначале.

В дальнейшем, вероятно, будут и новые катастрофы, и новые коалиции, но на этом примере мы видим, какие трудности подстерегают такое объединение государств и насколько оно неустойчиво и подвержено «нецелевому» использованию.

Можно сделать следующее предположение: если бы на Земле существовало всемирное государство, то оно было бы менее подвержено такой неустойчивости. Однако такого государства нет, и без мировой войны оно не может возникнуть в ближайшей исторической перспективе (мировая война при этом чревата созданием и применением оружия судного дня). Таким образом, суммарный риск по созданию всемирного государства перевешивает возможные плюсы от его существования.

Надежность системы глобального контроля – если она все же будет построена, – вполне вероятно, может повышаться за счет непрерывного повышения ее жесткости и тотальности (во всяком случае, соблазн пойти таким путем вполне может возникнуть). В пределе такая система должна быть способна считывать мысли каждого человека и даже регулировать его поведение в случае приступов чрезмерной агрессии (что технологически ближе, чем мы можем себе представить). Но одна неверная команда, пущенная по такой системе, может подействовать сразу на всех людей на Земле и привести их к гибели. Такая система должна управляться искусственным интеллектом, но тогда люди превратятся в «биороботов». Если же такая система будет срабатывать достаточно редко, например, останавливая пьяного, когда он в ослеплении гневом заносит нож над своим другом, то, возможно, она имеет смысл.

Крайне важно то, что ошибка, совершенная централизованной системой, сразу распространится на всю Землю. Рассмотрим это на примере предлагаемой системы автоматического управления полетами авиалайнеров с земли в целях их защиты от захвата террористами и использования в качестве тарана. Понятно, что такая система затруднит действия террористов с пластмассовыми ножами, однако возникает гипотетический риск того, что управление самолетом будет перехвачено с земли; более того, при наличии злоумышленника в числе программистов, имеющих доступ к коду системы, возможно одновременно перехватить управление всеми в мире гражданскими самолетами, находящимися в воздухе (порядка тысячи), и развести их по разным целям (например, ядерным станциям). Хотя шансы такой катастрофы значительно меньше, чем шансы захвата нескольких самолетов вооруженными людьми, вероятный ущерб неизмеримо больше.

Чтобы избежать подобных проблем, Дэвид Брин и ряд других исследователей предложили систему, названную «reciprocal accountability». Ее суть в создании абсолютно прозрачного общества, в котором каждый сможет следить за каждым. Повсюду будут расположены видеокамеры, возможно, даже распылены некие нанотехнологические следящие устройства, и любой со своего компьютера сможет следить за любой точкой земного шара.

Однако такие проекты выглядят нереалистичными. В первую очередь потому, что спецслужбы и прочие государственные структуры вряд ли позволят их реализовать. Кроме того, непрофессионалу очень сложно понять, является ли какая-то деятельность опасной. Когда программист вставляет в программу несанкционированную закладку, это выглядит абсолютно незаметно для внешнего наблюдателя – человек якобы просто пишет код, как и должен. То же касается и биологических исследований, тем более что они из работы с пробирками все больше будут превращаться в работу за компьютером.

Наконец, возможны злоупотребления и этой системой наблюдения. Кроме того, информационная прозрачность сделает невозможным существование секретов, а следовательно, все знание об оружии массового поражения (в том числе о знаниях массового поражения – кодах вирусов, рецептах ядов) станет общедоступным.

Позитивным примером абсолютной «прозрачности» на сегодня является, скажем, работа Википедии, где каждый может наблюдать действия другого. Но Википедия – это не система, нацеленная на обеспечение безопасности, и есть немало примеров, когда она была использована для публикации информации, имеющей некоторые искажения (приукрашивания) в пользу тех, кто ее выложил.

При всем этом, безусловно, нельзя и недооценивать силу гражданского общества и личной инициативы в деле предотвращения глобальных рисков. Ведь до сих пор во многих случаях этим делом занимались именно люди, которые действовали по собственной инициативе, исходя из личного понимания ответственности и важности стоящих проблем. И за этим был не только абстрактный альтруизм, но и понимание, что это работает на личную пользу исследователей и их близких.