Глава 16
Масштабирование

В ходе вышеупомянутой встречи и переговоров в Коннектикуте Нил Гершенфельд внес в обсуждение глоток свежего воздуха, когда заявил, что терпеть не может «Человеческое применение человеческих существ»; эти слова встретили улыбками, как и его заявление, что информатика – это наихудшее, что могло случиться с компьютерами и наукой. В целом же он утверждал, что Винер упустил из вида последствия цифровой революции, происходившей в 1950-е (впрочем, некоторые наверняка скажут, что нельзя предъявлять подобное обвинение человеку, обитавшему, так сказать, на первом этаже недостроенного здания и лишенному дара ясновидения).

«Хвост виляет собакой, – продолжал Нил. – В моей жизни это были фаблабы и движение творцов; когда Винер рассуждал об угрозах автоматизации, он не замечал очевидного, конкретно того, что доступ к средствам автоматизации позволит людям добиваться многого, скажем, через фаблабы; в моей области рост идет по экспоненте».

В 2003 году я навестил Нила в Массачусетском технологическом институте, где он руководит Центром изучения битов и атомов. Несколько часов спустя я еле пришел в себя после подробной экскурсии с демонстрацией весьма диковинных разработок. В частности, Нил показал мне работу своего ученика из популярного курса быстрого прототипирования («Как изготовить почти всё»), скульптора без инженерного образования, который создал портативное личное пространство для криков – вопи сколько угодно, твои крики записываются и воспроизводятся по запросу. Другой ученик с того же курса создал веб-браузер, позволяющий попугаям серфить в сети. Сам Нил занимался фундаментальными исследованиями по составлению дорожной карты для сугубо, казалось бы, фантастического «универсального репликатора». Словом, мне понадобилась пара лет, чтобы прийти в себя после этого визита.

Нил управляет глобальной сетью фаблабов – малых производственных систем с опорой на цифровые технологии; эти системы обеспечивают людям возможность создавать то, что им нравится. Будучи гуру движения творцов, объединяющего цифровую коммуникацию, вычисления и производство, он порой оказывается в положении, когда может взглянуть на текущие дебаты по безопасности ИИ со стороны. «Моя способность вести исследования основывается на инструментах, расширяющих мои возможности, – говорит он. – Спрашивать, интеллектуальны эти инструменты или нет, все равно что интересоваться, откуда мне известно, что я существую; это забавный философский трюк, не предполагающий эмпирической проверки». Его интересует «соотношение битов и атомов, граница между цифровым и физическим. С научной точки зрения это самая захватывающая задача, с которой я сталкивался».

Дискуссии об искусственном интеллекте почему-то производят впечатление игнорирующих историю. Точнее описать их как маниакально-депрессивные; в зависимости от того, кто и как считает, сегодня мы переживаем пятый цикл бума и спада. Эти колебания маскируют непрерывность прогресса в данной области и последствия этого развития.

Продолжительность каждого цикла оставляет приблизительно десять лет. Сначала были мэйнфреймы, само появление которых сулило автоматизацию деятельности. Но внезапно выяснилось, что на практике непросто составлять программы для выполнения простых задач. Затем появились экспертные системы, которые накапливали знания экспертов и были призваны заменить последних. Здесь мы столкнулись с проблемой сбора знаний и осмысления случаев, еще не рассмотренных экспертами. Перцептроны пытались обойти эту проблему через модели человеческого обучения, но итог был почти провальным. Многослойные перцептроны справлялись с тестовыми задачами, которые сбивали с толка более простые сети, зато испытывали очевидные сложности с неструктурированными задачами из реального мира. Ныне идет период глубинного обучения, когда осуществляются многие ранние обещания в области ИИ, но такими способами, что понимание затруднено, а последствия варьируются от интеллектуальных до экзистенциальных угроз.

Каждый из этих этапов провозглашался революционным шагом вперед по сравнению с предшествующими, но все они фактически подразумевали одно и то же, а именно – выводы из наблюдений. Как все перечисленные подходы связаны между собой, можно оценить по степени их масштабируемости, то есть по тому, насколько производительность машин каждого поколения зависит от сложности решаемых ими задач. Обыкновенный выключатель света и автомобиль с автоматическим управлением должны определять намерения оператора, но у первого всего два варианта выбора, тогда как у второго вариантов намного больше. Все этапы «бума ИИ» начинались с многообещающих демонстраций узкой применимости; а переходные этапы начинались с признания неспособности конкретных машин справиться со сложностью менее структурированных, практических задач.

Менее очевиден постоянный прогресс в освоении масштабирования. Этот прогресс опирается на технологическое различие между линейной и экспоненциальной функциями; само различие не было секретом еще на заре исследований ИИ, однако его последствия смогли оценить лишь много лет спустя.

В одном из основополагающих документов по теории интеллектуальных машин, в книге «Человеческое применение человеческих существ», Норберт Винер проделал великолепную работу по выявлению и описанию многих важных трендов развития общества, отметил людей, причастных к этим трендам, – и не переставал удивляться тому, с какой стати усилия этих людей принято считать значимыми. Самому Винеру приписывают создание кибернетики как научной дисциплины; лично я никогда не понимал, что это такое, но то, о чем не сказано в его книге, легло в основу прогресса в области ИИ. Эта история полезна в силу того эха, которое мы продолжаем слышать и сегодня.

Клод Шеннон появляется в книге Винера в эпизодической роли – в контексте рассуждений о перспективах игры в шахматы. Но в ту пору Шеннон не просто предавался теоретическим размышлениям: он закладывал основы цифровой революции. Будучи аспирантом в Массачусетском технологическом институте, он вместе с Вэниваром Бушем работал над дифференциальным анализатором. Это один из последних великих аналоговых компьютеров, комната, битком набитая шестеренками и валами. Раздраженный трудностями, которыми сопровождалось решение задач таким образом, Шеннон в 1937 году взялся за диссертацию (возможно, до сих пор лучшую в этой области). Он показал, как можно проектировать электрические схемы для оценки произвольных логических выражений, тем самым заложив основы универсальной цифровой логики.

После окончания Массачусетского технологического института Шеннон изучал коммуникации в компании «БеллЛабс». Аналоговые телефонные звонки теряют в качестве звука с увеличением расстояния между собеседниками. Вместо того чтобы пытаться улучшить звук, Шеннон в 1948 году продемонстрировал, что при коммуникации с применением символов, а не стабильных величин, ситуация радикально меняется. Преобразование речевых сигналов в двоичные значения 1 и 0 – расхожий пример, но и многие другие наборы символов могут быть использованы (и используются) в цифровой связи. Важны не конкретные символы, а способность обнаруживать и исправлять ошибки. Шеннон обнаружил, что если шум выше порога (зависящего от конструкции системы), то ошибки будут наверняка. Но если шум ниже порога, то линейное увеличение физических ресурсов, репрезентирующих символ, приводит к экспоненциальному уменьшению вероятности ошибки при правильном приеме символа. Это правило было первым из тех, которые позднее сформировали пороговую теорему.

Такое масштабирование происходит настолько быстро, что вероятность ошибки фактически стремится к нулю. Каждый отправленный символ выступает множителем, а не слагаемым определенности, так что вероятность ошибки может составлять от 0,1 до 0,01 или до 0,001 и так далее. Это экспоненциальное уменьшение ошибок связи сделало возможным экспоненциальное увеличение пропускной способности коммуникационных сетей – и в конечном счете позволило понять, как должны поступать знания в системе ИИ.

На протяжении многих лет самым быстрым способом ускорения вычислений было ничегонеделание – мы просто ждали, пока компьютеры станут быстрее. Точно так же годы напролет проекты в области ИИ накапливали повседневные знания через кропотливый ввод фрагментов информации. Тут масштабирование невозможно; все происходит с той скоростью, с какой работают люди, вводящие данные. Но когда все телефонные звонки, газетные сообщения и почтовые сообщения очутились в интернете, каждый, кто делает что-то из перечисленного, превратился в генератор данных. Результат – экспоненциальная, а не линейная скорость накопления знаний.

Джон фон Нейман также может похвастаться камео в «Человеческом применении человеческих существ» – в разделе, посвященном теории игр. Здесь Винер упустил из вида ключевую роль фон Неймана для оцифровки вычислений. Аналоговая связь ухудшалась с увеличением расстояния, а вот аналоговые вычисления (вспомним дифференциальный анализатор) ухудшались со временем, накапливая ошибки в ходе работы. Фон Нейман представил в 1952 году исследование, равнозначное шенноновскому (они встретились в институте перспективных исследований в Принстоне) и показавшее, что возможно эффективно вычислять на ненадежном вычислительном устройстве при использовании символов вместо стабильных величин. Опять-таки, перед нами масштабирование с линейным увеличением физических ресурсов, репрезентированных в символике, а следствием стало экспоненциальное уменьшение частоты ошибок при шуме ниже порогового значения. Именно благодаря этому открытию удается вместить миллиард транзисторов в компьютерный чип, причем последний из них полезен ничуть не меньше первого в ряду. Итогом оказалось экспоненциальное увеличение производительности вычислений, что решило вторую базовую проблему в области ИИ – как обрабатывать экспоненциально возрастающие объемы данных.

Третья проблема, которую масштабирование помогло решить для ИИ, заключалась в разработке мышления без необходимости нанимать программиста для кодировки каждой отдельной задачи. Винер признавал важность обратной связи в машинном обучении, но упускал ключевую роль репрезентаций. Невозможно сохранить все возможные изображения в автомобиле с автоматическим управлением или все возможные звуки в компьютере, предназначенном для бесед; машины должны уметь обобщать на основании опыта. «Глубокая» часть глубинного обучения подразумевает не (ожидаемую) глубину понимания, а глубину математических сетевых слоев, используемых для прогнозирования. Оказалось, что линейное увеличение сетевой сложности ведет к экспоненциальному увеличению «выразительной» мощности сети.

Если вы потеряете свои ключи в комнате, их можно поискать. Если вы не уверены, в какой конкретно комнате они находятся, придется обойти все комнаты в доме. Если вы не уверены, в каком доме оставили ключи, придется обыскивать все помещения во всех зданиях города. Если вы сомневаетесь насчет города, вам предстоит обыскать все комнаты во всех зданиях во всех городах. В области ИИ такому поиску ключей соответствует беспилотный автомобиль, безопасно двигающийся по дороге общего пользования, или компьютер, правильно интерпретирующий устную команду, а комнаты, здания и города соответствуют всем вариантам, которые необходимо учитывать при программировании. Это так называемое проклятие размерности.

Избавиться от проклятия размерности помогает использование информации о задаче для ограничения условий поиска. Сами алгоритмы поиска не новы. Но применительно к сетям глубинного обучения они адаптируются в ходе работы и позволяют машине понять, где эффективнее искать ответ. Правда, теперь уже невозможно гарантированно дать заведомо лучший ответ – но, как правило, лучшего и не требуется, вполне достаточно хорошего.

С учетом сказанного выше не должно удивлять, что эти правила масштабирования позволили машинам повысить свою эффективность до уровня, сопоставимого с эффективностью соответствующих биологических систем. Нейронные сети создавались изначально для моделирования работы человеческого мозга. От этой цели отказались, поскольку модели превратились в математические абстракции, совершенно не связанные с реальным функционированием нейронов. Зато наметилась своего рода конвергенция, этакая проективная биология (а не биология реинжиниринга), поскольку в результате глубинного обучения мы как бы получаем картинку слоев и областей мозга.

Один из наиболее сложных исследовательских проектов, которым мне довелось руководить, предусматривал сотрудничество тех, кого сегодня называют аналитиками данных, с пионерами ИИ. Это был печальный опыт рассогласования целей. Первая группа успешно справлялась с застарелыми проблемами, выявленными когда-то второй, но это не признавалось достижением, поскольку не наблюдалось соответствующих прорывов в понимании принятых решений. Какова ценность шахматного компьютера, если вы не можете объяснить, как он играет в шахматы?

Ответ, конечно, гласит, что он умеет играть в шахматы. Тут возникает перспектива любопытного исследования о применимости ИИ к ИИ, то есть к обучению нейронных сетей, для объяснения того, как они работают. Но деятельность мозга и компьютерного чипа трудно понять из простого наблюдения за их работой; намного легче интерпретировать эту деятельность по наблюдению за их внешними интерфейсами. Мы доверяем (или нет) мозгу и компьютерным чипам, основываясь на опыте, который их проверяет, а не на объяснениях того, как они работают.

Многие отрасли инженерии переходят от так называемого императивного к декларативному, или генеративному дизайну. Это означает, что вместо прямого проектирования системы с помощью инструментов наподобие САПР, принципиальных схем и компьютерного кода, вы описываете свои пожелания к системе, а затем выполняется автоматический поиск модулей, удовлетворяющих вашим целям и ограничениям. Такой подход становится необходимостью, поскольку сложность проектирования все чаще превышает возможности проектировщика. Да, это может показаться рискованным, но человеческое понимание имеет свои пределы; в истории инженерного дела полным-полно примеров мнимого хорошего понимания, которое обернулось дурными последствиями. Декларативное проектирование учитывает все новейшие достижения в области искусственного интеллекта, а также точность моделирования, свойственную виртуальным тестовым вариантам.

Мать всех проблем проектирования – та самая проблема, итогом решения которой являемся мы с вами. Наша конструкция «записана» в одной из старейших и наиболее консервативных частей генома, в так называемых генах Hox. Это гены, которые регулируют другие гены посредством так называемых программ развития. В нашем геноме нет дизайна телосложения; скорее, геном хранит последовательность шагов, выполнение которых наделяет нас тем или иным телом. Налицо точная параллель с поиском в области ИИ. Имеется слишком много потенциальных схем кузова для поиска, причем большинство модификаций окажутся либо несущественными, либо фатальными. Гены Hox представляют собой репрезентацию продуктивной среды эволюционного поиска. Это своего рода естественный интеллект на молекулярном уровне.

ИИ сталкивается с проблемой ума и тела, потому что у него нет тела. Бо́льшая часть работы над ИИ выполняется в облаках, на виртуальных машинах в компьютерных центрах, куда направляются данные. Наш собственный интеллект есть результат выполнения алгоритма поиска (эволюция), изменивший нашу физическую форму, а также результат программирования – и оба результата неразрывно связаны. Если историю ИИ трактовать как плод действия масштабирующих законов, а не как преемственность моды, то его будущее можно рассматривать аналогичным образом. Ныне, после коммуникаций и вычислений, оцифровывается производство, что внедряет программируемость битов в мир атомов. Оцифровывая не только проект, но и процесс создания материалов, мы в состоянии использовать уроки, преподанные фон Нейманом и Шенноном, к экспоненциально возрастающей сложности производства.

Я считаю цифровыми материалами те, которые создаются из дискретного набора деталей, обратимо соединенных с дискретным набором относительных положений и ориентаций. Эти параметры позволяют определять глобальную геометрию по локальным ограничениям, обнаруживать и исправлять ошибки сборки, соединять разнородные материалы и разбирать, а не уничтожать конструкции, когда они больше не нужны. Аминокислоты, основа жизни, и кирпичики «Лего», основа игры, разделяют эти свойства.

В аминокислотах интересна именно их неинтересность, обыденность. Они наделены свойствами типичными и ничуть не выдающимися, скажем, притягивание или отталкивание воды. Но всего двадцати типов аминокислот достаточно для сотворения человека. Точно так же двадцати или около того типов цифровых материалов – проводников, изоляторов, жестких, гибких, магнитных и т. д. – будет достаточно для обеспечения ряда функций, необходимых для реализации современных технологий в роботах и компьютерах.

Связь между вычислениями и производством обнаружили те первооткрыватели, работы которых заложили основы архитектуры вычислений. Винер намекал на нечто подобное, увязывая транспортировку материалов с транспортировкой сообщений. Джону фон Нейману приписывают современную компьютерную архитектуру, о которой он писал на самом деле очень мало; последним, что он изучал и о чем писал красиво и подробно, были самовоспроизводящиеся системы. Как бы абстрагируя жизнь, он смоделировал машину, способную передавать вычисления, которые самоконструируются. А последним, что изучал Алан Тьюринг, которому приписывают теоретические основы информатики, были способы, какими генные инструкции создают физические формы. Эти вопросы относятся к области, сторонней для типичного компьютерного образования: речь о физической конфигурации вычислений.

Фон Нейман и Тьюринг ставили указанные вопросы в качестве теоретических, поскольку эти исследования значительно опережали технологии того времени. Но благодаря конвергенции коммуникаций, вычислений и производства такие вопросы становится возможным изучить экспериментально. Создание ассемблера, способного собирать себя из деталей, которые он сам же и собирает, – такова текущая цель моей лаборатории, где мы с коллегами также участвуем в разработке синтетических ячеек.

Перспектива появления самовоспроизводящихся физически автоматов потенциально гораздо страшнее всех фантомных угроз якобы неконтролируемого ИИ, поскольку она перемещает искусственный интеллект в пространство нашего обитания. Не исключено, что это дорожная карта, ведущая к роботизированным терминаторам и компании «Скайнет». Но это и более обнадеживающая перспектива, потому что способность программировать атомы заодно с битами позволяет развивать проекты глобально и производить локально энергию, еду и жилье; все перечисленное будет ярким примером первых шагов цифрового производства. Винера тревожила будущая безработица, но он не ставил под сомнение имплицитные допущения о природе работы, которые исчезают, когда на смену потреблению приходит создание.

История свидетельствует о том, что утопические и антиутопические сценарии сбываются редко; как правило, мы барахтаемся где-то посередине. Но история также показывает, что не стоит пассивно ждать. Гордон Мур в 1965 году использовал наблюдаемое пятилетнее удвоение ресурсов интегральных микросхем, чтобы спроектировать добрые пятьдесят лет экспоненциального развития цифровых технологий. Мы потратили немало времени на реакцию, а не на прогнозирование ее последствий. Сейчас у нас больше данных, чем было у Гордона Мура, и кто мешает нам спроектировать пятьдесят лет удвоения производительности цифрового производства? В ретроспективе понятно, к слову, что нужно избегать излишеств цифровых вычислений и коммуникаций и с самого начала решать такие проблемы, как свобода доступа и общая грамотность.

Если движение творцов действительно является провозвестником третьей цифровой революции, успехи проектировщиков ИИ в достижении многих первоначальных целей этой революции можно рассматривать как итог первых двух цифровых переворотов. Может показаться, что производство машин и машинное мышление никак не связаны между собой, но они составляют будущее друг друга. Те же тенденции масштабирования, которые сделали возможным появление ИИ, позволяют предположить, что нынешняя одержимость ИИ есть преходящий этап, и за ним наступит новая фаза, намного более важная, – слияние искусственного и естественного интеллекта.

Развитие атомов ведет к формированию молекул, развитие молекул – к формированию органелл, развитие органелл – к формированию клеток, развитие клеток – к формированию органов, развитие органов – к формированию организмов, развитие организмов – к формированию семей, развитие семей – к формированию общества, а развитие общества – к формированию цивилизаций. Эта великая эволюционная петля может замкнуться, когда атомы станут управлять битами, управляющими атомами.