Глава 6
Нечеловеческая ловушка, в которую нас завлекли машины

Робототехник Родни Брукс оказался одним из героев документального фильма Эррола Морриса «Быстро, дешево и бесконтрольно» (1997), а компанию ему составили укротитель львов, топиарист и эксперт по голым землекопам; некий рецензент отметил, что «его улыбка сочеталась с диким блеском в глазах». Пожалуй, то же самое можно сказать о большинстве провидцев.

Поле зрения математиков и других ученых, когда мы говорим об общей картине за пределами конкретной специальности, часто ограничено инструментами и метафорами, которые они используют в своей работе. Норберт Винер здесь не исключение; смело могу допустить, что я таковым тоже не являюсь.

Когда Винер работал над «Человеческим применением человеческих существ», завершалась эпоха восприятия машин и животных просто как совокупностей физических процессов – и начиналась нынешняя эпоха понимания машин и животных как совокупностей вычислительных процессов. Подозреваю, что в будущем, в новые эпохи, неведомые нам инструменты будут настолько же отличаться от наших, насколько инструменты двух винеровсих эпох отличались друг от друга.

Винер был «гигантом мысли» первой из указанных эпох и опирался на инструменты, восходящие к Ньютону и Лейбницу и предназначенные для описания и анализа непрерывных процессов в физическом мире. В 1948 году он опубликовал работу «Кибернетика» и под этим словом подразумевал науку об управлении и связи у машин и животных. Сегодня мы трактуем идеи этой книги как теорию управления, обязательную дисциплину для проектирования и анализа физических машин, но в то же время пренебрегаем, как правило, мыслями Винера относительно коммуникации. Теории Винера многим обязаны его практическому опыту в годы Второй мировой войны, когда он разрабатывал систему наведения зенитных орудий. Он привнес математическую строгость в разработку технологий, процессы проектирования которых оставались в значительной степени эвристическими по своему характеру: речь о технологиях, если вспоминать историю, от римских гидротехнических сооружений до парового двигателя Уатта и до первых автомобилей.

Можно вообразить иную версию нашей интеллектуальной и технологической истории, допустив, что никогда не рождались Алан Тьюринг и Джон фон Нейман, оба внесшие немалый вклад в развитие вычислительной техники. Тьюринг описал фундаментальную модель вычислений – ныне известную как машина Тьюринга – в своей статье «О вычислимых числах в приложении к Entscheidungsproblem», написанной и переработанной в 1936 году, а опубликованной год спустя. В такой машине линейная последовательность символов конечного алфавита кодирует исходные условия вычислительной задачи и обеспечивает рабочее пространство вычислений. Для каждой отдельной вычислительной задачи необходима своя машина; позднее было доказано, уже другими, что возможно закодировать в одной конкретной машине, ныне известной как универсальная машина Тьюринга, произвольный набор вычислительных инструкций с использованием той же последовательности символов.

Джон фон Нейман в 1940-х годах разработал абстрактную самовоспроизводящуюся машину, которую назвал клеточным автоматом. Предполагается, что она занимает конечное подмножество бесконечного двумерного массива квадратов, каждый из которых содержит отдельный символ конечного алфавита из двадцати девяти различных символов, а остальная часть бесконечного массива изначально пуста. Отдельные символы в каждом квадрате изменяются взаимосвязанно согласно сложному, но конечному правилу для символа в конкретном квадрате и его ближайших соседях. В соответствии со сложным правилом, разработанным фон Нейманом, большинство символов в большинстве квадратов остаются неизменными, лишь некоторые изменяются на каждом этапе процесса. Поэтому при взгляде на заполненные квадраты выясняется, что имеется постоянная структура с какой-то активностью внутри нее. Когда абстрактная машина фон Неймана воспроизводится, она копирует себя в другую область пространства. Внутри «машины» имеется горизонтальная линия квадратов, конечная линейная последовательность, основанная на подмножестве символов конечного алфавита. Именно символы в этих квадратах кодировали машину, частью которой они являлись. При воспроизведении последовательность могла сдвигаться влево или вправо, что трактовалось (интерпретировалось) как инструкция (перевод инструкции) для новой «машины», которая создавалась, а затем копировалась (реплицировалась); новая копия помещалась внутрь новой машины для дальнейшего воспроизведения. Фрэнсис Крик и Джеймс Уотсон продемонстрировали в 1953 году, что подобную последовательность можно воссоздать биологически в длинной молекуле ДНК с конечным алфавитом из четырех нуклеотидов – гуанина, цитозина, аденина и тимина (G, C, A и T). Как и в машине фон Неймана, при биологическом воспроизведении линейная последовательность символов в ДНК интерпретируется – посредством транскрипции в молекулы РНК, которые затем транслируются в белки, то есть в структуры, творящие новую клетку, – а ДНК реплицируется и инкапсулируется в новой клетке.

Второе прозрение фон Неймана содержалось в статье «Первый черновик» (1945) о разработке цифрового компьютера: здесь автор ратовал за компьютерную память, которая способна содержать инструкции и данные одновременно. Ныне мы говорим о машинах с архитектурой фон Неймана, противопоставляя их машинам с гарвардской архитектурой, где наличествуют две отдельные памяти – для инструкций и для данных. Подавляющее большинство компьютерных чипов, созданных в эпоху действия закона Мура, основано на архитектуре фон Неймана, включая и те, которые используются в центрах обработки данных, ноутбуках и смартфонах. Цифровая компьютерная архитектура фон Неймана концептуально представляет собой то же самое обобщение – плод эволюции ранних цифровых компьютеров на базе электромагнитных реле в Гарвардском университете и в Блетчли-парке, – которое формируется при переходе от специализированной машины Тьюринга к универсальной машине Тьюринга. Кроме того, самовоспроизводящиеся автоматы фон Неймана принципиально схожи по конструкции с машиной Тьюринга и с механизмом размножения биологических клеток на основе ДНК. По сей день ученые спорят о том, осознавал ли фон Нейман это фундаментальное сходство между трудами Тьюринга и своими прозрениями. Тьюринг переработал свою концепцию, когда они с фон Нейманом оба подвизались в Принстоне; более того, после получения докторской степени Тьюринг едва не подался в сотрудники фон Неймана.

Без Тьюринга и фон Неймана кибернетика Винера могла бы главенствовать в мышлении и оставаться движущей силой развития технологий намного дольше, чем это произошло в реальности, где она пережила краткий миг торжества. В воображаемой версии истории мы вполне могли бы жить сегодня в мире стимпанка, а не просто наблюдать его фантастические воплощения на Maker Faires!

Все сказанное означает, что Винер думал о мире – физическом, биологическом и (в «Человеческом применении») социальном – совершенно особым образом. Он анализировал мир как непрерывность переменных, что сам объяснял в главе 1, ссылаясь на термодинамику и статистику Гиббса. Еще он предложил слабую и неубедительную модель информации как обмена сообщениями между физическими и биологическими сущностями. На мой взгляд, спустя семьдесят лет эволюции эти идеи и модели выглядят прискорбно непригодными для описания механизмов, лежащих в основе биологических систем, а вдобавок он не задумывался о том, каким образом подобные механизмы могут в конечном счете быть воплощены в технологических вычислительных системах, что происходит сегодня. Нынешние доминирующие технологии разрабатываются в мире Тьюринга и фон Неймана, а не в мире Винера.

В ходе первой промышленной революции люди научились использовать энергию пара и вращение водяного колеса вместо грубой физической силы. Вместо того чтобы и дальше обращаться к последней, люди сделались модуляторами, контролирующими использование сторонней энергии. Но поскольку паровые двигатели и водяные колеса по необходимости имели большие размеры, чтобы работать эффективно, и поскольку в XVIII столетии единственной технологией для пространственного распределения энергии было механическое перемещение на чрезвычайно малые расстояния, приходилось привлекать к процессу множество работников. Винер правильно отмечал, что именно возможность передачи энергии в форме электричества вызвала вторую промышленную революцию. Теперь источник энергии мог находиться далеко от места применения, и с начала XX столетия производство рассредотачивалось благодаря распространению распределенных электросетей.

Далее Винер утверждал, что очередная новая технология, на сей раз в виде зарождающейся вычислительной техники его времени, приведет к новой революции. Машины, о которых он писал, выглядят аналоговыми и (возможно) цифровыми по своим параметрам; в «Человеческом применении человеческих существ» он указывал, что, поскольку такие машины способны принимать важные решения, синие и белые воротнички со временем рискуют превратиться в винтики гораздо более крупной машины. Он опасался, что люди начнут эксплуатировать и изводить друг друга при посредстве организационных структур, которые породит эта способность машин. Мы воочию наблюдали происходящее в последние шестьдесят лет, и процесс «завинчивания» еще далек от завершения.

Впрочем, приверженность физике не позволила Винеру предугадать, насколько плохо все может оказаться. Он воспринимал способность машин к общению как новый, менее человечный, если угодно, способ управления и контроля. Он не предполагал, что всего за несколько десятилетий вычислительные системы сделаются чрезвычайно схожими с биологическими системами, и, судя по описанию в главе 10 его книги, где обсуждаются его собственные опыты моделирования ряда биологических ситуаций, он, к сожалению, сильно недооценивал сложность биологии в сравнении с физикой. Сегодня мы находимся в гораздо более сложном положении, чем рисовалось Винеру, и лично меня беспокоит, что это положение кажется намного отчаяннее его худших воображаемых страхов.

В 1960-х годах вычисления развивались в русле, «прорытом» Тьюрингом и фон Нейманом; эти цифровые вычисления опирались на идею конечного алфавита символов, важную для обоих ученых. Последовательность или строка произвольной длины, образованная символами конечного алфавита, может быть закодирована как уникальное целое число. Формализм вычислений, как и в случае самих машин Тьюринга, стал формализмом вычисления целочисленной функции единичного целочисленного входа.

Тьюринг и фон Нейман ушли из жизни в 1950-е годы, и вот как они в ту пору рассматривали вычисления и компьютеры. Никто не предвидел экспоненциальный рост вычислительных возможностей по закону Мура или стремительное распространение вычислительного оборудования. Также они не предвидели двух новшеств в нашем моделировании вычислений, каждое из которых представляет немалую угрозу для человеческого общества.

Первое связано с теми самыми абстракциями, от которых отталкивались Тьюринг и фон Нейман. Пятидесятилетнее, подгоняемое законом Мура состязание в производстве программного обеспечения, которое учитывало бы удвоение мощности компьютеров каждые два года (по сути, типичная инженерная деятельность), оказалось отодвинутым на второй план. Разработка программного обеспечения велась быстро и провоцировала ошибки. Эта ускоренная разработка программного обеспечения вне стандартов качества позволила обнаружить множество способов использования хранилища данных и инструкций в архитектуре фон Неймана (в одной и той же памяти). Среди наиболее распространенных способов можно отметить «переполнение буфера», когда число на входе (или длинная строка символов) больше, чем ожидал программист, и «перетекает» в область хранения инструкций. Намеренно задавая входное число намного больше, некто с помощью соответствующего программного обеспечения может внедрить в компьютер сторонние инструкции и тем самым изменить его функционирование. Вот фундамент разработки компьютерных вирусов, названных так из-за сходства с биологическими вирусами. Последние внедряют в клетку дополнительную ДНК, и механизм транскрипции и трансляции клетки слепо интерпретирует новые данные, творя белки, которые могут нанести урон клетке-хозяину. Кроме того, клеточный механизм репликации обеспечивает размножение вируса. Так малая чужеродная сущность может взять под контроль гораздо большую сущность и заставить ту неожиданно изменить свое поведение.

Эти и прочие формы цифровых атак лишили нашу повседневную жизнь былой безопасности. Ведь мы полагаемся на компьютеры практически во всем. Мы передали им управление инфраструктурой (электричество, газ, дороги, автомобили, поезда, самолеты), а инфраструктура теперь уязвима. Мы полагаемся на компьютеры в банковских операциях, в оплате счетов, накоплении пенсий, ипотеке, при покупке товаров и услуг – и опять-таки рискуем. Мы полагаемся на компьютеры в наших развлечениях, наших коммуникациях, деловых и личных, в обеспечении физической безопасности, в получении информации о мире и на выборах; все это сегодня далеко не безопасно. В ближайшем будущем исправить ситуацию вряд ли получится. Между тем многие сферы нашего общества остаются уязвимыми для атак – со стороны обычных преступников и со стороны враждебных государств.

Второе новшество заключается в том, что вычисления оставили далеко позади рамки вычислительных функций. Вместо этого программы постоянно находятся онлайн и могут собирать данные о последовательностях запросов. В соответствии со схемой Винера / Тьюринга / фон Неймана мы могли думать, что шаблон коммуникации для веб-браузера будет следующим:

Ныне же все может выглядеть так:

Когда машина перестает просто вычислять функции, а начинает вместо этого фиксировать состояния, она может приступить к формулировке выводов о человеке на основании последовательностей запросов, ей задаваемых. Когда разные программы устанавливают корреляции между разными потоками запросов – скажем, сопоставляют поиск в интернете с сообщениями пользователя в социальных сетях, оплатой каких-то покупок или временем на просмотр конкретной рекламы, а также с местонахождением пользователя (благодаря смартфонам с поддержкой GPS), – тогда совокупность сведений, доступных многим программам, которые взаимодействуют друг с другом и с базами данных, оборачивается совершенно неожиданной утратой конфиденциальности. Громадный скачок в технологическом развитии множества компаний Западного побережья объясняется тем, что они принялись монетизировать эти сведения без ведома пользователей, взаимодействующих с вычислительными платформами.

Винер, Тьюринг и фон Нейман не могли предвидеть, сколь сложными сделаются эти платформы, которыми люди охотно пользуются, не обращая внимания на юридическую абракадабру пользовательских соглашений и нисколько не подозревая, на что дают согласие; тем самым они добровольно отказываются от прав, которыми никогда бы не пренебрегли в общении один на один с другим человеком. Эти вычислительные платформы стали щитом, из-за которого отдельные корпорации бесчеловечно эксплуатируют людей. В ряде стран сами правительства поддерживают такие манипуляции, причем целью является не прибыль, а подавление инакомыслия.

Человечество угодило в любопытную ловушку: нас эксплуатируют компании, как ни парадоксально, предоставляющие услуги, которые нам нужны, и в то же время наша жизнь зависит от множества программных систем, уязвимых перед нападением. Вырваться из этой ловушки – вот наш долгосрочный план. Нам понадобятся технологии, законотворчество и, самое главное, моральное лидерство. Но последнее является, увы, наиболее серьезной проблемой.