Глава 17
Первый машинный интеллект

Еще будучи студентом Массачусетского технологического института, Дэнни Хиллис создал компьютер из деталей «Тинкертойз». Тот насчитывал около 10 000 деревянных деталей, играл в крестики-нолики и никогда не проигрывал; сейчас он находится в Музее компьютерной истории в Маунтин-Вью, штат Калифорния.

Аспирантом и сотрудником лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института в начале 1980-х годов Дэнни разработал компьютер с массивно-параллельной архитектурой на 64 000 процессоров. Он назвал этот агрегат машиной связи и основал первую, возможно, компанию в области ИИ – «Thinking Machines Corporation» – для производства и продажи этого устройства. Причем его ничуть не смутил ланч с Ричардом Фейнманом, на котором знаменитый физик заметил: «Это, безусловно, самая глупая идея, которую я когда-либо слышал». Пожалуй, выражение «не смутил» не вполне корректно, ведь Фейнман славился своим интересом к глупым идеям. К слову, Фейнман пришел на торжество по поводу регистрации компании, сотрудничал с ней летом, брался за специальные задания и внес неоценимый вклад в ее работу.

С тех пор Дэнни основал целый ряд технологических компаний, последняя из которых, «Applied Invention», сотрудничает с коммерческими предприятиями в разработке технологических решений для преодоления конкретных проблем. Он владеет сотнями патентов на параллельные компьютеры, сенсорные интерфейсы, дисковые массивы, методы предотвращения подделок и множество электронных и механических устройств. Его воображение, по-видимому, безгранично, и в очерке ниже он намечает некоторые возможные сценарии, результат нашего стремления к бесконечному улучшению ИИ.

«Наши мыслящие машины – не просто метафора, – говорит он. – Вопрос не в том, окажутся ли они достаточно могущественными для того, чтобы причинить нам вред (наверняка), или всегда будут действовать в наших лучших интересах (вряд ли), а в том, смогут ли они в долгосрочной перспективе помочь нам отыскать правильный путь и вырваться из континуума Панацеи и Апокалипсиса».

«Я рассуждал о машинах, но не только о машинах с медными мозгами и мускулами из железа. Когда человеческие атомы сплачиваются в организацию, в которой они используются не в соответствии со своим назначением, как разумные человеческие существа, а подобно зубцам, рычагам и стержням, не имеет большого значения то обстоятельство, что их «сырьем» послужили плоть и кровь. Нечто в качестве элемента машины есть фактически элемент машины. Доверяем ли мы наши решения машинам из металла или тем машинам из плоти и крови, которые организуются в бюро, крупные лаборатории, армии и корпорации, нам никогда не получить верного ответа на свои вопросы, пока мы не начнем задавать правильные вопросы… Час почти пробил, выбор между добром и злом стоит у нашего порога».

Норберт Винер опередил свое время, рассуждая о потенциальной опасности проектируемых интеллектуальных машин. Полагаю, он предвидел намного дальше, заявляя, что первые системы искусственного интеллекта уже создаются в действительности. Он был прав, характеризуя корпорации и бюро – «машины из плоти и крови», по его определению, – как первые интеллектуальные системы. Он справедливо предупреждал об угрозе появления искусственного суперинтеллекта, цели которого вовсе не обязательно будут совпадать с нашими собственными.

Ныне очевидно – и не имеет значения, понимал это Винер или нет, – что организационные сверхразумы состоят не только из людей; они представляют собой гибриды людей и информационных технологий, позволяющих людям координировать свои действия. Даже во времена Винера «бюро, крупные лаборатории, армии и корпорации» не могли действовать без телефонов, телеграфа, радио и счетно-аналитических машин. Сегодня они не могут функционировать без компьютерных систем, баз данных и систем поддержки принятия решений. Эти гибридные интеллекты представляют собой технологически расширенные сети людей. Такой искусственный интеллект обладает сверхчеловеческими способностями. Он знает больше, чем каждый человек по отдельности, он способен лучше ощущать происходящее вокруг, он гораздо мощнее в выполнении комплексного анализа и составлении сложных планов. Наконец, ему доступно куда больше ресурсов и власти, чем любому отдельно взятому человеку.

Мы далеко не всегда осознаем, что гибридные суперинтеллекты наподобие национальных государств и транснациональных корпораций ставят собственные цели. Будучи созданы людьми и для людей, они нередко действуют как независимые разумные существа, и эти действия далеко не всегда соответствуют интересам людей, которые создавали эти государства и корпорации. Государство не обязательно заботится о благе граждан, а корпорация не обязательно радеет о благополучии акционеров. То же самое касается некоммерческих организаций, религиозных орденов и политических партий – все они не обязательно руководствуются в практической деятельности своими основополагающими принципами. Интуитивно мы осознаем, что их действия определяются некими внутренними целями, потому-то и принято персонифицировать эти сущности юридически и ментально. Употребляя выражения вроде «этого хочет Китай» или «к этому стремится Дженерал моторс», мы вовсе не изъясняемся метафорами. Упомянутые сущности действуют интеллектуально, они воспринимают мир, принимают решения и их выполняют. Подобно целям индивидов, цели организаций сложны и зачастую противоречивы, но это истинные цели – в том смысле, что они руководят действиями. Да, указанные цели формируются людьми, состоящими в организации, но они не идентичны человеческим целям.

Любому американцу известно, сколь слаба связь между действиями правительства США и разнообразными, зачастую противоречивыми целями граждан страны. То же самое верно для корпораций. Коммерческие организации номинально служат благу множества групп, включая сюда акционеров, топ-менеджеров, сотрудников и клиентов. Эти корпорации отличаются друг от друга способами «примирения» разных лояльностей и часто ведут себя так, чтобы не служить никому из своих благополучателей. «Нейронами», передающими корпоративную мысль, выступают не только сотрудники и технологии, их связывающие; мысль также кодируется в политике компании, принципах стимулирования, организационной культуре и процедурах принятия решений. Новые корпоративные цели не всегда отражают ценности людей, которые их реализуют. Например, некая нефтяная компания под началом и со штатом людей, заботящихся об окружающей среде, может обладать такими стимулами и такой политикой, которые побуждают ее ставить под угрозу экологическую безопасность ради извлечения прибыли. Благие намерения составляющих системы не являются гарантией правильного (благого) поведения системы в целом.

Правительства и корпорации, частично состоящие из людей, «от природы» мотивированы хотя бы отражать и выражать цели людей, от которых они зависят. Они не могут функционировать без людей, поэтому им приходится обеспечивать и поддерживать сотрудничество с людьми. Когда такие организации ведут себя альтруистически, это часто объясняется их базовой мотивацией. Однажды я похвалил генерального директора крупной корпорации за вклад его компании в оказание гуманитарной помощи. Генеральный директор ответил без малейшей иронии: «Да. Мы решили поступать так почаще, чтобы наш бренд сделался более привлекательным». Индивиды, образующие гибридный суперинтеллект, могут порой оказывать на него «гуманизирующее» влияние: например, сотрудник может нарушать политику компании, чтобы помочь другому человеку. Этот сотрудник может проявлять подлинное человеческое сострадание, но мы не должны приписывать подобные ощущения самому суперинтеллекту. Эти гибридные машины ставят собственные цели, а граждане / клиенты / сотрудники суть всего-навсего ресурс, которые они используют для достижения этих целей.

Мы близки к тому, чтобы начать создавать суперинтеллект на основе только информационных технологий, без привлечения человека. Именно такие системы обычно называют «искусственным интеллектом», или ИИ. Резонно задаться вопросом, каким будет отношение гипотетического машинного суперинтеллекта к людям. Сочтет ли он, что люди представляют собой полезный ресурс, с которым целесообразно сохранять хорошие отношения? Будут ли цели этого суперинтеллекта соответствовать нашим собственным? Вообще окажутся ли эти вопросы для суперинтеллекта сколько-нибудь важными? И какие «правильные» вопросы нам следует задавать? На мой взгляд, одним из принципиальных является следующий вопрос: в каких отношениях между собой будут состоять разнообразные суперинтеллекты?

Любопытно прикинуть, как гибридные суперинтеллекты справляются с конфликтами в своей среде в настоящее время. Сегодня бо́льшая часть реальной власти в мире принадлежит национальным государствам, которые притязают на владение территорией. Не важно, «оптимизированы» они для того, чтобы действовать в интересах своих граждан или в интересах деспотического правителя, национальные государства имеют приоритет перед желаниями и целями других интеллектов в пределах своих географических границ. Они претендуют на монополию в применении силы и признают равными себе только другие национальные государства. Они готовы при необходимости мобилизовывать граждан на большие свершения, чтобы укрепить собственную власть, даже требовать от них пожертвовать жизнью.

Такое географическое распределение власти было логичным и осмысленным в эпоху, когда большинство акторов составляли люди, жизнь которых по большей части протекала в пределах границ конкретного национального государства; но сегодня, когда все больше утверждаются географически распределенные гибридные интеллектуальные структуры, скажем, транснациональные корпорации, эта логика выглядит менее очевидной. Мы живем в сложный переходный период, когда распределенные суперинтеллекты по-прежнему в значительной степени полагаются на национальные государства в урегулировании возникающих споров. Нередко конфликты разрешаются по-разному в разных юрисдикциях. Все труднее становится просто соотносить индивидов с национальными государствами; при этом экспаты, живущие и работающие за границами родной страны, беженцы и иммигранты (легальные и нелегальные) до сих пор считаются, так сказать, исключениями из правил. Суперинтеллект, построенный исключительно на информационных технологиях, окажется еще более непригодным для территориальной системы власти, поскольку нет никаких причин «привязывать» его к физическим ресурсам конкретной страны – и даже вообще к каким-либо конкретным физическим ресурсам. Искусственный интеллект вполне может существовать в «облаке», а не в каком-то физическом местоположении.

Мне видятся как минимум четыре сценария того, как машинные суперинтеллекты будут взаимодействовать с гибридными сверхразумами.

Очевидный сценарий предполагает, что разнообразные машинные интеллекты в конечном счете подчинятся тем или иным национальным государствам и интегрируются с ними. В рамках этого сценария объединения государства с ИИ нетрудно вообразить, как американские и китайские супер-ИИ конкурируют друг с другом за ресурсы от имени своего государства. В некотором смысле эти ИИ будут гражданами своего национального государства – вспомним о немалом числе коммерческих организаций, которые часто выступают в роли «корпоративных» граждан. В данном сценарии конкретное государство будет наделять машины ресурсами, необходимыми для работы в интересах этого государства. Или же – в той степени, в какой суперинтеллект способен оказывать влияние на правительство конкретного государства – машины, вероятно, станут стремиться к укреплению собственной власти, например за счет присвоения большей доли ресурсов государства. ИИ национальных государств, возможно, не пожелают мирно наблюдать за расширением возможностей ИИ в государствах-конкурентах. Словом, в данном сценарии суперинтеллект становится продолжением государства, а государство – продолжением ИИ.

Такой сценарий кажется вполне правдоподобным, но это не то направление развития, в котором мы сегодня движемся. Наши мощнейшие и быстро совершенствуемые системы искусственного интеллекта контролируются коммерческими организациями. Налицо сценарий «корпоративного ИИ», по которому баланс сил между национальными государствами и корпорациями кардинально изменяется в пользу последних. Сегодня наиболее мощной группой интеллектуальных машин обладает, вероятно, компания «Гугл», но от нее вряд ли значительно отстают «Амазон», «Байду», «Майкрософт», «Фейсбук», «Эппл» и «Ай-би-эм». Все эти компании осознают необходимость разработки собственного искусственного интеллекта. Легко представить себе будущее, когда корпорации самостоятельно создают собственные компьютерные системы, защищенные файрволлами, которые не позволяют «чужим» машинам воспользоваться объемом знаний конкретной корпорации. Эти машины будут проектироваться и разрабатываться исключительно для реализации целей конкретной корпорации. Если такие разработки окажутся эффективными, национальные государства станут отставать все сильнее в проектировании и внедрении систем искусственного интеллекта, вследствие чего им придется полагаться на добрую волю своих «корпоративных» граждан. Чем увереннее корпорации будут добиваться поставленных целей, тем могущественнее и автономнее они станут, решительно оттесняя национальные государства.

Третий сценарий – возможно, тот, которого люди сильнее всего опасаются, – заключается в том, что искусственный интеллект не будет привязан ни к людям, ни к гибридным сверхразумам; он станет действовать исключительно в своих собственных интересах. Такие машины могут даже объединиться в единый машинный суперинтеллект, поскольку машинам нет технической необходимости сохранять отдельные «личности». Отношение же эгоистичного супер-ИИ к гибридным системам может перерасти в острую конкуренцию. Людей подобная система может воспринимать как досадную помеху, вроде муравьев на месте пикника, а вот гибридные суперинтеллекты – корпорации, мировые религии и национальные государства – могут трактоваться как угроза существованию ИИ. Подобно гибридному суперинтеллекту, новый ИИ может посчитать людей полезным инструментом для достижения своих целей, этакими пешками в конкурентной борьбе с другими суперинтеллектами. Или же сочтет нас попросту ненужными. Не исключено, что машинный интеллект уже возник, но мы пока не опознали его как таковой. Возможно, он не хочет быть замеченным – или настолько нам чужд, что мы не способны его осознать. В общем, сценарий эгоистичного ИИ наиболее труден для понимания. Полагаю, что доступные нашему воображению версии – скажем, интеллектуальные человекоподобные роботы – наименее вероятны. Наши сложнейшие системы, взять хотя бы интернет, уже вышли за пределы понимания индивида, а их поведение в будущем и подавно превзойдет все человеческие возможности к пониманию.

Последний сценарий состоит в том, что машинный интеллект не предусматривает комбинирования мощностей в корыстных целях; он будет развиваться на пользу человечества в целом. В этом оптимистичном сценарии ИИ поможет нам восстановить баланс между индивидом и корпорацией, между гражданином и государством. Он поможет справиться с проблемами, порожденными гибридным суперинтеллектом, который преследует собственные цели. Согласно этому сценарию, новый ИИ расширит наши возможности, предоставит доступ к вычислительным мощностям и знаниям, которые в настоящее время доступны лишь корпорациям и государствам. По сути, он способен стать продолжением наших индивидуальных умственных возможностей в достижении человеческих целей. Он может изрядно усилить наш слабый индивидуальный разум. Эта перспектива выглядит одновременно захватывающей и правдоподобной. Она правдоподобна потому, что мы вольны выбирать, что именно разрабатывать, а за плечами у нас богатая история использования технологий для расширения человеческих возможностей. Самолеты, образно говоря, дали нам крылья, двигатели дали мышцы для сворачивания гор, а компьютерная сеть может укрепить и расширить наш разум. Да, мы вряд ли полностью поймем и сможем контролировать свою судьбу, но у нас есть шанс изменить ее соответственно нашим ценностям. Грядущее – не то, что с нами случится; оно есть то, что мы сами создадим.

Кибернетика есть изучение того, как слабые могут управлять сильными. Вспомним исходную метафору этой дисциплины: кормчий ведет корабль. Его цель состоит в том, чтобы контролировать курс и вести корабль в правильном направлении. Информация, то есть сообщения, поступающие кормчему, приходит от компаса или звезд, а сам кормчий замыкает контур обратной связи, отправляя ответные сообщения через аккуратные движения руки по рулевому веслу. Эта картина рисует нам корабль, идущий наперекор ветру и волнам в реальном мире благодаря коммуникационной системе сообщений в мире информации.

Но все же различие между «реальным» и «информационным» сводится в основном к различию перспективы. Сигналы, содержащие сообщения, такие как свет звезд и давление пальцев на рулевое весло, относятся к пространству энергии и физических сил, как и сам кормчий. Слабая сила, контролирующая руль, столь же реальна и «физична», как и могучие силы природы. Если перенести кибернетический фокус внимания с корабля на кормчего, давление на руль превратится в могучую мышечную силу, подчиненную слабым сигналам от разума кормчего. Эти ментальные сообщения преобразуются в физическую силу, достаточно мощную для управления кораблем. Или мы можем увеличить масштаб рассмотрения и отталкиваться от широкой кибернетической перспективы. Мы могли бы трактовать корабль как элемент обширной торговой сети, контура обратной связи, который регулирует цены на товары через их поток. С такой точки зрения крошечный корабль будет просто посланником. Вот почему различие между физическим и информационным мирами является способом описания отношений между слабыми и сильными.

Винер предпочитал смотреть на мир с позиции индивида. Будучи кибернетиком, он принял перспективу слабого деятеля, встроенного в могучую систему и стремящегося извлечь максимальную пользу из своих ограниченных сил. Он включил эту перспективу в свое определение информации. «Информацией мы называем сведения, которыми мы обмениваемся с внешним миром в процессе приспосабливания к последнему и улавливания того воздействия, какое оказывает на внешний мир наше приспосабливание», – писал он в «Человеческом применении человеческих существ». По его словам, информация есть «процесс нашей жизнедеятельности во внешней среде». Иначе говоря, для Винера информация представляла собой способ слабых эффективно справляться с сильными. Та же перспектива отражена в определении информации, данном Грегори Бейтсоном: «различие, имеющее значение», то есть малое различие, имеющее большое значение.

Целью кибернетики считалось создание крошечной модели системы, использующей «слабые токи» для усиления и управления «сильными токами» реального мира. Основная идея заключалась в том, что проблемы управления можно разрешить, построив аналогичную систему в информационном пространстве сообщений, а затем транслировать результат в реальный мир. Для системы управления актуальна концепция усиления, которая делает малое большим, а слабое – сильным. Усиление позволяет создавать различие, принципиально важное для изменения положения дел.

При подобном взгляде на мир система управления должна быть не менее сложной, чем система, которой она управляет. Кибернетик У. Росс Эшби математически доказал, что это именно так, и вывел закон необходимого разнообразия Эшби (порой его называют первым законом кибернетики). Данный закон гласит, что для эффективного управления какой-либо системой орган управления должен быть таким же сложным, как и сама контролируемая система. Потому кибернетики склонны рассматривать системы управления как своего рода аналог систем, которыми они управляют; примером может служить гомункул – гипотетический крохотный человечек в нашей голове, управляющий поведением реального человека.

Это представление о тождественности (аналогичности) структур иногда путают с понятием аналогового кодирования сообщений, но указанные идеи различаются логически. Норберт Винер восторгался дифференциальным анализатором Вэнивара Буша; этот прибор можно было настроить так, чтобы он соответствовал структуре любой задачи, которую ему поручали решить, но в нем использовалось цифровое кодирование сигналов. Сигналы возможно упростить для наглядного отражения соответствующих различий, и это обеспечит более точную передачу и более надежное хранение. В цифровом обмене требовалось лишь воспроизводить различие в сигналах, имевшее значение. Именно это различие и кодирование сигналов мы обычно используем для противопоставления «аналога» и «цифры». Цифровое кодирование сигнала полностью соответствовало кибернетическому мышлению – даже его стимулировало. Развитие кибернетики ограничивалось подразумеваемым тождеством структуры контролера и контролируемого. К 1930-м годам Курт Гедель, Алонсо Черч и Алан Тьюринг успели описать универсальные системы вычислений, где для работы не требовалось структурной аналогии с вычисляемыми функциями. Эти универсальные компьютеры также могли вычислять функции управления.

Аналогия структур контролера и контролируемого являлась основополагающей для кибернетической перспективы. Подобно тому как цифровое кодирование сводит пространство возможных сообщений к упрощенной версии, репрезентирующей только разницу, которая имеет значение, система управления сводит пространство состояний управляемой системы к упрощенной модели, которая отражает лишь цели контролера. Закон Эшби не подразумевает, что каждый контролер обязан моделировать каждое состояние системы; нет, речь только о тех состояниях, которые важны для реализации целей контролера. Значит, в кибернетике целью контролера становится перспектива, с которой наблюдается мир.

Норберт Винер принял точку зрения индивида, окруженного крупными организациями и стремящегося выжить в этой среде. Он принял точку зрения слабого, который пытается повлиять на сильного. Возможно, именно поэтому он смог заметить формирующиеся цели «машин из плоти и крови», смог предугадать ряд социальных проблем, порождаемых новым интеллектом – гибридным машинным интеллектом, располагающим собственными целями.