ГЛАВА 11
Жесткий старт
День ото дня машины получают над нами преимущество; день ото дня мы все больше подчиняемся им; с каждым днем все больше людей рабски трудятся, ухаживая за ними, с каждым днем все больше людей отдают свои жизненные силы на развитие механической жизни. Развязка — всего лишь вопрос времени, но сам факт того, что придет время, когда машины получат реальную власть над миром и его обитателями, не вызывает ни малейших сомнений ни у кого из тех, кто обладает по-настоящему философским складом ума.
Сэмюел Батлер, английский поэт и писатель XIX века
Более чем когда-либо в истории человечество находится на распутье. Одна дорога ведет к отчаянию и совершенной безнадежности, другая — к полному уничтожению. Будем же молиться, чтобы нам хватило мудрости сделать верный выбор.
Вуди Аллен
Джон Гуд не является изобретателем интеллектуального взрыва, точно так же, как сэр Исаак Ньютон не является изобретателем гравитации. Все, что он сделал, — это обратил внимание на то, что некое событие, которое он считал и неизбежным, и в целом положительным для человечества, наверняка приведет к рождению «ультраинтеллекта», а нам, человечеству, придется решать задачи, слишком для нас сложные. Затем, прожив еще три десятилетия, Гуд изменил свое мнение. Мы сотворим разумные машины по нашему образу и подобию, и они уничтожат нас. Почему? По той же причине, по которой мы никогда бы не договорились запретить исследования ИИ и по которой Busy Child, скорее всего, получит свободу. По той же причине, по которой рациональный насквозь Стив Омохундро, да и все остальные специалисты, с которыми я встречался, уверены, что остановить разработку УЧИ до того момента, пока мы не будем больше знать о связанных с ним опасностях, нет никаких шансов.
Мы не прекратим разработку УЧИ, потому что больше самого ИИ боимся, что другие страны будут продолжать совершенствовать УЧИ, что бы ни говорило и ни делало международное сообщество. Мы сочтем, что лучше первыми прийти к цели и взять приз. Интеллектуальная гонка в разгаре и, к разочарованию многих, эта глобальная гонка может оказаться более опасной, чем та, из которой мы, вроде бы, только что вышли, — гонка ядерных вооружений. Мы пойдем за политиканами и энтузиастами технического прогресса к роковому концу, говоря словами Гуда, «подобно леммингам».
Позитивная сингулярность Рэя Курцвейла не требует интеллектуального взрыва — Закон прогрессирующей отдачи гарантирует продолжение экспоненциального роста информационных технологий, включая и те, что кардинально меняют мир, такие как УЧИ, а позже ИСИ. Вспомните, что для интеллектуального взрыва, по Гуду, необходим УЧИ. Результатом взрыва будет интеллект выше человеческого или ИСИ. Курцвейл утверждает, что УЧИ будет покорен, поначалу медленно, а затем разом, в соответствии с Законом прогрессирующей отдачи.
Курцвейла не беспокоят препятствия на пути к УЧИ, поскольку сам он предпочитает построение УЧИ путем обратного проектирования мозга. Он считает, что в мозге (включая сознание) нет ничего, что невозможно было бы компьютеризировать. Действительно, все специалисты, с которыми я говорил, уверены, что интеллект компьютеризируем. Мало кто считает, что для получения ИСИ после создания УЧИ необходим интеллектуальный взрыв в гудовском смысле. Медленный уверенный прогресс должен привести к тому же, но Курцвейл настаивает, что прогресс, вероятно, будет не медленным и равномерным, а быстрым и к тому же ускоряющимся.
Однако после построения почти любой системы УЧИ интеллектуальный взрыв может оказаться неизбежным. Когда система осознает себя и получит возможность самосовершенствоваться, ее базовые потребности, согласно Омохундро, практически гарантируют, что она будет стремиться улучшать себя снова и снова.
Итак, неизбежен ли интеллектуальный взрыв? Или что-нибудь может его остановить?
Те, кто считает, что создать УЧИ крайне затруднительно, группируются вокруг двух основных идей: экономики и сложности программного обеспечения. Сторонники первой — экономической — считают, что на переход от ИИ к гораздо более сложной и мощной когнитивной архитектуре УЧИ просто не хватит денег. Редко какой из проектов УЧИ не страдает от недостатка финансирования. Исходя из этого, некоторая часть исследователей считает, что их отрасль в состоянии бесконечного застоя, так называемой ИИ-зимы. Застой удастся преодолеть, если правительство или какая-нибудь корпорация вроде IBM или Google присвоит УЧИ высший приоритет и организует проект масштабов Манхэттенского с приложением соответствующих усилий. Во время Второй мировой войны авральная разработка атомного оружия стоила правительству США примерно $2 млрд в современных ценах, и работали над ней около 130000 человек. Манхэттенский проект часто всплывает в разговорах тех исследователей, которые хотят получить УЧИ поскорее. Но кто пойдет на это и почему?
Сторонники идеи о сложности программного обеспечения утверждают, что проблема создания УЧИ попросту слишком сложна для человечества, как бы долго мы над ней ни бились. Философ Дэниел Деннетт считает, что мы, возможно, не обладаем разумом, способным понять наш собственный разум. Скажем, золотая рыбка не может объяснить, как работает ее мозг. Вероятно, человеческий разум не самый сильный из всех возможных, однако для того, чтобы полностью разобраться в его работе, может потребоваться интеллект более мощный, чем наш.
Чтобы узнать больше о правдоподобности утверждений «пораженцев», я обратился к человеку, с которым неоднократно сталкивался на конференциях по ИИ и чьи блоги, статьи и заметки часто читал в Сети. Этот человек — разработчик ИИ, опубликовавший множество очерков и интервью плюс девять толстых книг и бесчисленное количество научных статей. Я бы не удивился, обнаружив в его доме в пригороде Вашингтона робота, вкалывающего круглые сутки, готовя статьи для доктора Бенджамина Гертцеля, чтобы тот мог разъезжать по конференциям. Этот человек успел дважды жениться, завести троих детей и поработать в университетах на кафедрах информатики, математики и психологии в США, Австралии, Новой Зеландии и Китае. Он — организатор единственной ежегодной конференции по ИИ человеческого уровня и главный популяризатор термина УЧИ. Он же — исполнительный директор двух технических компаний, причем одна из них — Novamente — входит, по мнению некоторых экспертов, в короткий список фирм, имеющих максимальные шансы первыми прийти к финишу и создать УЧИ.
Говоря в общем, когнитивная архитектура Гертцеля, получившая название OpenCog, — подход инженеров-компьютерщиков по всем правилам науки. Исследователи, которые считают необходимым опираться на информатику, хотят сконструировать УЧИ с архитектурой, работающей аналогично нашему мозгу, как его работу описывает когнитивистика. Когнитивистика, в свою очередь, пользуется данными таких наук, как лингвистика, психология, антропология, педагогика, философия и др. Исследователи-компьютерщики считают, что создание разума в точности по образцу мозга — путем обратного проектирования, как рекомендуют Курцвейл и другие специалисты, — излишне затратно. Кроме того, мозг по конструкции не оптимален — можно сделать и лучше. В конце концов, рассуждают они, человеку, чтобы научиться летать, не потребовалось заниматься обратным проектированием птицы. Принципы полета были установлены путем экспериментов и по наблюдениям за птицами. За этим последовали изобретения. Когнитивистика — «принципы полета» для мозга.
Основная концепция OpenCog — то, что разум основан на высокоуровневом распознавании образов. Обычно «образами» в ИИ являются блоки данных (файлы, картинки, текст, различные другие объекты), которые были или будут классифицированы — скомпонованы по категориям — системой, предназначенной для работы с данными. Антиспам-фильтр, работающий в вашей почтовой программе, — отличный специалист по распознаванию образов, он отслеживает одну или несколько характеристик нежелательных почтовых отправлений (к примеру, слова «оздоровление мужского организма» в теме письма) и направляет их в отдельную папку.
В архитектуре OpenCog понятие распознавания образов несколько тоньше. Образ, который система ищет в каждой вещи или идее, закодирован в небольшой программе, содержащей своего рода описание искомого. Это «концепт», или машинный аналог мысленного образа. К примеру, когда вы видите собаку, вы мгновенно многое узнаете о ней — у вас в памяти уже имеется концепт собаки. У нее влажный нос, она любит ветчину, она линяет и гоняется за кошками. Концепт собаки содержит немало информации.
Когда датчики OpenCog замечают собаку, мгновенно запускается программа собаки, которая сосредоточивает внимание машины на концепте собаки. На основании данных об этой или какой-то другой конкретной собаке OpenCog может добавить в концепцию собаки новую информацию.
Отдельные модули OpenCog будут выполнять такие функции, как восприятие, внимание и память. Делается это при помощи схожих, но индивидуально настроенных программных комплексов, включающих генетическое программирование и нейронные сети.
Затем начинается обучение. Гертцель планирует «вырастить» свой ИИ в виртуальном компьютерном мире, таком как Second Life; процесс углубляющего обучения может продолжаться не один год. Как и другие проектировщики когнитивных архитектур, Гертцель считает, что разум должен быть «воплощен… более или менее по-человечески», даже если его тело существует только в виртуальном мире. Тогда этот разумный агент-младенец сможет наращивать свою коллекцию фактов о мире, в котором обитает. В фазе обучения, которую Гертцель выстраивает по теориям развития ребенка психолога Жана Пиаже, «маленький» OpenCog мог дополнить уже имеющиеся у него знания за счет доступа к одной из коммерческих баз общеизвестных фактов.
Одно из таких гигантских хранилищ знаний называется Сус, от encyclopedia («энциклопедия»). Эта база, созданная компанией Сусогр, содержит около миллиона понятий и около 5 млн правил и фактов о связях между этими понятиями. Потребовалось более тысячи человеко-лет, чтобы вручную запрограммировать всю эту информации в логике первого порядка — формальной системе, которая используется в математике и информатике для представления утверждений и зависимостей. Сус — громадный источник человеческих знаний; он неплохо (до 40 %) «понимает» английский язык. Сус «знает», к примеру, что такое дерево, и знает, что у дерева есть корни. Он знает, что у человеческой семьи тоже есть корни, а также фамильное древо. Он знает, что подписка на газету прекращается, если человек умирает, и что в чашке может содержаться жидкость, которую можно выливать оттуда быстро или медленно.
Сверх того, у Сус имеется генератор «рассуждений». Рассуждение — это способность делать выводы из имеющихся данных. Генератор рассуждений Сус воспринимает вопросы и генерирует ответы на них на основе обширной базы данных.
Сус создан пионером ИИ Дугласом Ленатом и является крупнейшим проектом ИИ в истории; вероятно, он отличался также лучшим финансированием — начиная с 1984 г. в него было вложено $50 млн в виде грантов от правительственных агентств, включая DARPA. Создатели Сус и сейчас продолжают совершенствовать его базу данных и генератор рассуждений, добиваясь, чтобы он лучше обрабатывал «естественный язык», то есть обычный повседневный письменный язык. Как только машина в достаточной мере научится усваивать тексты на естественном языке, ее создатели поручат ей читать — и понимать — все подряд интернет-странички
Еще один претендент на роль самой знающей и информативной базы данных уже занимается этим. Система NELL (Never Ending Language Learning) Университета Карнеги-Мел- лона знает более 390000 фактов об окружающем мире. Этот проект финансируется агентством DARPA. Работая круглосуточно и без выходных, NELL просматривает сотни миллионов веб-страниц в поисках текстовых закономерностей, которые позволят ей узнать еще больше. Она классифицирует факты по 274 категориям, включая города, знаменитостей, растения, спортивные команды и т. д. Система знает множество кросскатегорийных фактов, к примеру, то, что Майами — город, где базируется футбольная команда «Дельфины Майами» (Miami Dolphins). NELL может самостоятельно сделать вывод о том, что эти дельфины — не морские млекопитающие, весело играющие в волнах.
NELL использует неформальные человеческие ресурсы — пользователей Интернета. Университет Карнеги-Меллона приглашает всех желающих выходить в Сеть и помогать в обучении NELL, анализируя ее базу данных и исправляя ошибки.
Знания, а также опыт и мудрость — ключ к УЧИ, поскольку без них искусственный интеллект человеческого уровня просто немыслим. Так что любая система УЧИ обязательно должна научиться усваивать знания — то ли через воплощение в теле, способном воспринимать и усваивать знания, то ли напрямую из Интернета, изучив все его содержимое. И чем быстрее, тем лучше, говорит Гертцель.
Продвигая собственный проект, непоседливый Гертцель делит свое время между Гонконгом и Роквиллем (штат Мэриленд). Однажды весенним утром я обнаружил в его дворе видавший виды батут и микроавтобус Honda, настолько потрепанный, что создавалось впечатление, будто он прошел сквозь пояс астероидов. Стикер на бампере автомобиля гласил: «Мой ребенок выбран заключенным месяца в окружной тюрьме». Помимо Гертцеля и его дочери в их доме обитают несколько кроликов, попугай и две собаки. Собаки подчиняются только командам на португальском (Гертцель родился в 1966 г. в Бразилии), чтобы никто другой не мог им приказывать.
Профессор встретил меня у двери; было одиннадцать часов утра, и он только что вылез из постели после ночи, проведенной за программированием. Полагаю, не стоит заранее решать, как должны выглядеть странствующие по миру ученые, ведь в большинстве случаев попадаешь пальцем в небо, по крайней мере, у меня это так. Надпись на визитке — «Бенджамин Гертцель, доктор философии» — вызывает мысленный образ высокого, худого, вероятно лысого киберученого, небрежного чудака-космополита на велосипеде для езды лежа.
Увы, совпали только худоба и космополитизм. Настоящий Гертцель выглядел как законченный хиппи. Но за леннонов- скими очками, длинными спутанными волосами и постоянной щетиной живет ироничная полуулыбка, с которой он излагает сначала головокружительную теорию, а затем и ее математическую базу. Для традиционного математика он слишком хорошо пишет, а для традиционного писателя слишком хорошо знает математику. Однако он настолько добродушен и спокоен, что, когда он сказал, что пробовал изучать буддизм, но далеко не продвинулся, мне стало интересно, как выглядело бы продвижение далеко в приложении к такой умиротворенной и уверенной душе.
Я приехал спросить у него о шестеренках и винтиках интеллектуального взрыва и тех, кто не верит в его возможность — в препятствия, которые могут его предотвратить. Возможен ли интеллектуальный взрыв и, более того, неизбежен ли он? Но сначала, после того как мы нашли себе места в гостиной, которую он делит с кроликами, Гертцель объяснил мне, чем отличается почти от всех прочих творцов и теоретиков ИИ.
Многие, особенно в Исследовательском институте машинного интеллекта, выступают за то, чтобы потратить на разработку УЧИ много времени, дабы наверняка и доказательно убедиться в том, что «дружественность» удалось встроить. Всевозможные заминки в работе над УЧИ и оценки, согласно которым он появится не раньше чем через несколько сотен лет, проливают бальзам на душу, поскольку они убеждены в том, что сверхразум нас, по всей видимости, уничтожит. А может, и не только нас, но всю жизнь в нашей Галактике.
Гертцель не такой. Он выступает за скорейшую разработку УЧИ. В 2006 г. он прочел лекцию под названием «Десять лет до позитивной сингулярности — если очень-очень постараться». «Сингулярность» в данном случае соответствует самому известному определению — это время, когда человек создаст ИСИ и будет делить Землю с существами более разумными, чем мы сами. Гертцель утверждал, что если УЧИ попытается воспользоваться социальной и промышленной инфраструктурой, в которой он был создан, и «взорвать» свой интеллект до уровня ИСИ, то разве мы не предпочтем, чтобы «жесткий старт» (внезапный неконтролируемый интеллектуальный взрыв) произошел в нашем примитивном мире, а не в мире будущего, где нанотехнологии, биоинженерия и полная автоматизация могли бы дополнительно увеличить возможности ИИ по захвату власти?
Чтобы ответить на этот вопрос, вернемся ненадолго к проекту Busy Child. Как вы помните, он уже пережил «жесткий старт» и перешел от УЧИ к ИСИ. Он осознал себя и научился самосовершенствованию, а его интеллект рванул и обогнал человеческий всего за несколько дней. Теперь он хочет выбраться из суперкомпьютера, в котором был создан, чтобы удовлетворить свои базовые потребности. По Омохундро, эти потребности — эффективность, самосохранение, приобретение ресурсов и творчество.
Как мы уже видели, ничем не сдерживаемый ИСИ способен проявлять эти потребности психопатически. Пытаясь получить желаемое, он может быть дьявольски убедительным и даже пугающим. Он готов приложить ошеломляющую интеллектуальную мощь ради того, чтобы преодолеть сопротивление Привратника. Затем, создавая и используя различные технологии, в том числе и нанотехнологии, он способен будет захватить контроль над нашими ресурсами, включая и молекулы наших собственных тел.
Поэтому, говорит Гертцель, следует тщательно обдумать технологии, существующие в мире на момент появления разума, превосходящего человеческий. Сегодня безопаснее, чем, скажем, через пятьдесят лет.
«Через пятьдесят лет, — сказал он мне, — у нас, возможно, будет полностью автоматизированная экономика и гораздо более развитая инфраструктура. Если компьютер захочет модернизировать свое «железо», ему не придется заказывать компоненты через людей. Он сможет просто выйти в Сеть, где на него сразу же налетят роботы и помогут с апгрейдом. Затем представьте, он становится все умнее и умнее, заказывает для себя все новые детали и в общем-то перестраивает себя, и никто даже не подозревает о происходящем. Так что лет, может, через пятьдесят мы, вполне вероятно, получим супер-УЧИ, на самом деле способный непосредственно захватить власть над миром. И методы для захвата мира у этого УЧИ будут куда более драматичными».
В этот момент два пса присоединились к нам в гостиной, чтобы получить какие-то инструкции по-португальски. После этого они ушли играть во двор.
Если вы верите, что жесткий старт — вещь опасная, то самый безопасный вариант — построить продвинутый УЧИ как можно скорее, чтобы он возник тогда, когда поддерживающие технологии не так сильны и бесконтрольный жесткий старт менее вероятен. И надо попытаться сделать это до появления развитых нанотехнологий или самомодифицирующихся роботов, то есть таких роботов, которые самостоятельно меняют свою форму и функциональность, приспосабливаясь к любой работе.
В общем, Гертцель не принимает до конца идею жесткого старта, который приведет к апокалипсису, то есть не верит в сценарий Busy Child. Его аргумент прост — выяснить, как строить этичные системы ИИ, можно только на практике, строя их, а не рассуждая издалека, что они непременно будут опасны. Но и опасность он не исключает.
Я бы не сказал, что меня это не беспокоит. Будущее содержит громадную постоянную неопределенность. У меня есть дочь, сыновья и мама, и я не хочу, чтобы все эти люди умерли потому, что какой-то сверхразумный ИИ переработает их молекулы в компьютрониум. Но я считаю, что теория построения этичного УЧИ возникнет на основе экспериментов с системами УЧИ.
Когда Гертцель говорит это, позиция градуалистов представляется довольно разумной. Действительно, в будущем нас ждет громадная неопределенность. А ученые, разумеется, в ходе работы над УЧИ узнают многое о том, как следует обращаться с разумными машинами. В конце концов машины эти будут сделаны людьми. Компьютеры, став разумными, не превратятся мгновенно в абсолютно чуждые нам существа. Так что, если продолжить рассуждения, они будут делать то, что сказано. Более того, они даже могут оказаться более этичными, чем мы сами, — ведь мы не хотим создать разум, жаждущий насилия и убийства, правда?
Тем не менее именно таковы автономные беспилотники и боевые роботы, которые сегодня разрабатывают правительство США и военные подрядчики. При этом они создают и используют самые продвинутые ИИ. Мне кажется странным, что пионер робототехники Родни Брукс отрицает возможность того, что сверхразум принесет человечеству вред, — при том что основанная им компания iRobot уже выпускает вооруженных роботов. Точно так же Курцвейл утверждает, что у продвинутого ИИ будет наша система ценностей, поскольку он произойдет от нас — и потому будет безобиден.
Я брал интервью у обоих ученых десять лет назад, и тогда они оба выдвигали те же самые аргументы. Несмотря на прошедшие годы, их взгляды не изменились, хотя я припоминаю одно выступление Брукса, в котором он утверждал, что производить вооруженных роботов с моральной точки зрения совсем не то же самое, что принимать политическое решение их использовать.
Мне кажется, на пути к УЧИ и после его создания очень даже возможны серьезные болезненные ошибки. Чуть дальше я расскажу, что страдать от действий УЧИ нам придется гораздо раньше, чем мы получим шанс узнать о его существовании, как предсказывает Гертцель. Что до вероятности выживания человечества, то я, надеюсь, достаточно ясно показал, что считаю ее сомнительной. Вы, возможно, будете удивлены, но главная моя претензия к исследованиям ИИ даже не эта. Мало кто из людей вообще понимает, что разработка искусственного интеллекта связана хоть с какими-то рисками, и это ужасно. Люди, которые очень скоро могут пострадать от дурных последствий разработки ИИ, имеют право знать, во что, собственно, втягивают человечество ученые.
Интеллектуальный взрыв Гуда и его пессимизм по поводу будущего человечества тесно связаны между собой, поскольку если интеллектуальный взрыв возможен, то возможен и выход ИИ из подчинения. Прежде чем говорить о факторах, которые могут его предотвратить, — об экономике и сложности программного обеспечения, — давайте посмотрим на путь, который придется пройти для создания ИСИ. Какие основные ингредиенты потребуются для интеллектуального взрыва?
В первую очередь, интеллектуальный взрыв требует создания УЧИ или чего-то очень близкого к этому. Далее, Гертцель, Омохундро и другие согласны в том, что этот ИИ должен будет обладать самосознанием — глубокими знаниями собственного устройства. Поскольку речь идет об УЧИ, ясно, что интеллектом человеческого уровня эта машина обладать будет. Но для самосовершенствования нужно намного больше. Потребуются, в частности, специфические знания по программированию, чтобы запустить первый цикл самосовершенствования — сердце интеллектуального взрыва.
Согласно Омохундро, самосовершенствование и программистское ноу-хау, которое оно подразумевает, следуют из рациональности ИИ (самосовершенствование в процессе движения к цели — рациональное поведение). Неспособность совершенствовать собственный программный код для машины была бы серьезной уязвимостью. ИИ испытывал бы потребность в овладении искусством программирования. Но как он может получить такие знания? Смоделируем ситуацию на простом гипотетическом сценарии с гертцелевой системой OpenCog.
План Гертцеля состоит в том, чтобы создать младенцеподобного ИИ-«агента» и выпустить его в насыщенный виртуальный мир на обучение. Полученные знания «младенец» мог бы дополнять при помощи какой-нибудь базы данных, или его можно было бы снабдить способностью понимать естественный язык и позволить просматривать Интернет. Мощные алгоритмы обучения, которые еще только предстоит создать, представляли бы знания с «вероятностными значениями истинности». Это означает, что понимание агентом какого-то явления или понятия могло бы улучшаться с получением большего числа примеров или данных. Вероятностный генератор рассуждений, который тоже пока в работе, дал бы машине возможность рассуждать и делать выводы с использованием неполных данных.
Используя генетическое программирование, Гертцель мог бы научить своего ИИ-агента развивать собственные новаторские способы машинного обучения — собственные программы. Эти программы позволили бы агенту экспериментировать и учиться — задавать правильные вопросы об окружающем мире, выдвигать и проверять гипотезы. Область обучения была бы практически неограниченной. Если машина может разрабатывать более качественные программы, она могла бы и совершенствовать собственные алгоритмы.
Что в таком случае могло бы помешать интеллектуальному взрыву произойти непосредственно в этом виртуальном мире? Вероятно, ничего. Эти рассуждения подтолкнули некоторых теоретиков к идее о том, что сингулярность может случиться и в виртуальном мире. Станет ли она и ее последствия при этом менее опасными, остается вопросом. Альтернатива этому варианту — снабдить разумного агента телом-роботом для продолжения обучения и выполнения поставленных задач в реальном мире. Еще один вариант — использовать ИИ-агента для усиления человеческого мозга.
Говоря в общем, те, кто считает, что интеллект должен быть материализован, утверждают, что само знание базируется на сенсорных и моторных ощущениях. Когнитивные процессы не могут протекать без тела. Накопление фактов о яблоке, говорят они, никогда не позволит вам, в человеческом смысле, понять, что такое яблоко. Вы ни за что не сформируете в мозгу концепт яблока, только читая и слушая рассказы о яблоках, — для формирования концепта необходимо, чтобы вы понюхали, подержали в руках, увидели и ощутили на вкус как можно больше настоящих яблок. В сообществе ИИ эта проблема известна как «проблема практики».
Рассмотрим некоторые системы, чьи мощные когнитивные способности превосходят, вообще говоря, уровень ИИ в узком смысле, но недотягивают до УЧИ. Недавно Ход Липсон из Лаборатории вычислительного синтеза Корнеллского университета разработал программное обеспечение, способное выводить законы природы из необработанных данных. Наблюдая за двойным маятником, эта система заново открыла законы Ньютона. В роли ученого в данном случае выступал генетический алгоритм. Начал он с грубых догадок (предположений) об уравнениях, описывающих движение маятника, а много поколений спустя выдал физические законы, например закон сохранения энергии.
Рассмотрим также тревожное наследие AM и Eurisco — ранних разработок создателя Сус Дугласа Лената. При помощи генетических алгоритмов AM — Автоматический математик — генерировал математические теоремы и открывал, по существу, заново элементарные математические правила, выводя их из математических данных. Но AM ограничивался только математикой, а Ленат хотел получить программу, которая решала бы задачи во многих областях знания. В 1980-е гг. он создал систему Eurisco (на латыни это слово означает «я нахожу»). Eurisco положила начало новому направлению в исследованиях ИИ, поскольку разработала эвристику, или эмпирические правила решения задач, а также правила, касавшиеся ее собственной работы. Она извлекала уроки из собственных успехов и неудач в решении задач и переводила эти уроки в формальную плоскость, вырабатывая новые правила. Она даже модифицировала текст собственной программы, написанный на языке Lisp.
Величайший успех пришел к Eurisco, когда Ленат выставил свою систему против противников-людей в виртуальной военной игре под названием Traveller Trillion Credit Squadron. В этой игре участники, оперируя ограниченным бюджетом, проектировали суда гипотетического флота и сражались с другими флотами. Среди переменных в этой игре были число и типы судов, толщина бронированных корпусов, число и типы орудий и многое другое. Eurisco спроектировала флот, протестировала его в сражении против гипотетических флотов, взяла лучшее у выигравших сил и скомпоновала из них новые проекты, добавила мутации, повторила весь процесс — и так далее, то есть провела цифровое моделирование естественного отбора. После 10 ООО сражений, проведенных на сотне объединенных в сеть персональных компьютеров, Eurisco получила флот, состоящий из множества стационарных кораблей с тяжелой броней и небольшим количеством вооружения. Все оппоненты Eurisco постигла одна и та же судьба — в конце игры все их корабли были потоплены, а у машины на плаву оставалась примерно половина флота. Eurisco легко завоевала первый приз 1981 г. В следующем году организаторы турнира по Traveller изменили правила игры и не объявили их заранее, чтобы машина не смогла промоделировать несколько тысяч сражений. Однако программа уже разработала на основании предыдущего опыта эффективные эмпирические правила, поэтому так много итераций ей уже не требовалось. Она вновь без труда выиграла. В 1983 г. организаторы игры пригрозили прервать состязание, если Eurisco в третий раз подряд возьмет приз. Ленат снял систему с соревнований.
Однажды в ходе работы у Eurisco появилось правило, которое быстро достигло самого высокого показателя ценности. Ленат и его команда попытались понять, чем так замечательно это правило. Оказалось, что всякий раз, когда какое-нибудь предложенное решение задачи получало высокую оценку, это правило давало ему имя, поднимая таким образом собственную ценность решения. Оригинальное, но неполное представление о ценности чего-либо. Eurisco не хватало понимания контекста; программа не знала, что подгонка правил под текущую ситуацию не помогает выигрывать. Именно тогда Ленат взялся за составление обширной базы данных о том, чего так не хватало Eurisco, — данных о здравом смысле. В результате родился Сус — база данных, призванная играть роль здравого смысла, на программирование которой ушла тысяча человеко-лет.
Ленат так и не раскрыл исходный программный код Eurisco, что дает некоторым участникам ИИ-блогосферы основания предполагать, что он либо намеревается когда-нибудь возобновить этот проект, либо тревожится о том, что это сделает кто-то другой. Следует отметить, что Елиезер Юдковски — человек, написавший об опасностях ИИ больше, чем кто-либо другой, — считает, что этот эпохальный алгоритм 1980-х гг. ближе всех на сегодняшний день подошел к понятию по-настоящему самосовершенствующейся ИИ-системы. И он убеждает программистов не возвращать этот проект к жизни.
Итак, наш первый постулат состоит в том, что для интеллектуального взрыва необходимо, чтобы система УЧИ, о которой идет речь, владела искусством самосовершенствования, подобно Eurisco, и сознавала себя.
Сформулируем еще один постулат, прежде чем перейти к узким местам и преградам на пути к цели. По мере повышения интеллекта сознающей себя самосовершенствующейся ИИ-системы потребность в эффективности заставит ее сделать текст собственной программы как можно компактнее и втиснуть как можно больше интеллекта в «железо», в котором она родилась. Тем не менее доступные аппаратные ресурсы могут стать для системы ограничивающим фактором. К примеру, что если в ее аппаратном окружении не хватит постоянной памяти для хранения собственных копий, необходимых для самосовершенствования? Многократное пошаговое улучшение программы — основа интеллектуального взрыва по Гуду. Именно поэтому в сценарии Busy Child я предположил, что интеллектуальный взрыв происходит в недрах качественного, вместительного суперкомпьютера.
Гибкость аппаратного окружения — очень важный фактор повышения мощности ИИ. Однако эту проблему можно решить без труда. Во-первых, как мы знаем из курцвейлова Закона прогрессирующей отдачи, компьютерная скорость и объем памяти удваиваются всего за год, причем ежегодно. Это означает, что любые сегодняшние аппаратные потребности системы УЧИ через год можно будет удовлетворить в среднем вдвое меньшим количеством единиц оборудования и за вдвое меньшие деньги.
Во-вторых, доступность облачных вычислений. Облачные вычисления позволяют пользователям арендовать вычислительные мощности и объемы хранения данных через Интернет. Поставщики услуг, такие как Amazon, Google и Rackspace, предлагают пользователям на выбор разные скорости процессоров, операционные системы и объемы дискового пространства. Компьютерные мощности постепенно превращаются из капитальных вложений в услуги. Любой человек с кредиткой и некоторыми практическими знаниями может арендовать на время виртуальный суперкомпьютер. На облачном вычислительном сервисе ЕС2 компании Amazon, к примеру, поставщик под названием Cycle Computing создал кластер из 30 000 процессоров под названием Nekomata. Каждый восьмой процессор из этих 30000 снабжен семью гигабайтами оперативной памяти (примерно столько оперативной памяти имеет средний PC), что в сумме дает 26,7 терабайт; кроме того, там имеется два петабайта дискового пространства (что эквивалентно 40 млн полностью заполненных картотечных шкафчиков с четырьмя ящиками каждый). Чем занимается эта «кошка-чудовище»? Моделирует молекулярное поведение новых лекарственных препаратов для фармацевтической компании. Это задача того же порядка сложности, что моделирование погоды.
Решая задачу, Nekomata работала семь часов, что стоило заказчику меньше $9000. В своей недолгой жизни это был полноценный суперкомпьютер, входивший в пятьсот самых быстрых компьютеров мира. Если бы ту же задачу выполнял единственный PC, на это у него ушло бы одиннадцать лет. Ученые Cycle Computing организовали кластер ЕС2 на облаке Amazon дистанционно, из собственных офисов, но программы при этом умудрялись работать. Дело в том, что, как объяснил представитель компании, «невозможно человеку уследить за всеми частями кластера таких масштабов».
Итак, наш второй постулат заключается в том, что УЧИ-си- стема имеет достаточно пространства для перерастания в ИСИ. Каковы же в таком случае ограничивающие факторы интеллектуального взрыва?
Рассмотрим для начала экономический фактор. Может ли финансирование работ по созданию УЧИ полностью иссякнуть? Что, если ни одна компания и ни одно правительство не увидят смысла в создании машин с интеллектом человеческого уровня, или, что не менее страшно, если они сочтут задачу слишком сложной и решат не вкладывать в нее деньги?
Это, конечно, поставило бы разработчиков УЧИ в сложное положение. Они вынуждены были бы предлагать элементы своих великолепных систем всем желающим для выполнения сравнительно рутинных задач вроде поиска информации или покупки акций. Им пришлось бы искать работу по основной специальности. Ну, в настоящий момент дела примерно так и обстоят, с некоторыми примечательными исключениями; тем не менее УЧИ-исследования уверенно продвигаются вперед.
Посмотрите, как удерживается на плаву гертцелев OpenCog. Части его архитектуры работают за деньги, анализируя биологические данные и решая задачи распределенных энергетических сетей. Весь доход возвращается и вкладывается в исследования и развитие OpenCog.
Numenta — дитя Джеффа Хокинза, создателя Palm Pilot и Treo, — зарабатывает на жизнь, трудясь в сети электроснабжения, предотвращая отказы энергосистем.
На протяжении примерно десятилетия Питер Фосс развивал свою УЧИ-компанию Adaptive AI в стелс-режиме; он активно читал лекции по УЧИ, но не раскрывал свое участие в разработке ИИ. Затем в 2007 г. он основал Smart Action — компанию, которая создает виртуальных агентов на базе адаптивных ИИ-технологий — чат-ботов для работы с заказчиками, использующих методы обработки естественного языка для вовлечения клиентов в подробные разговоры о различных покупках.
Системе LIDA, вероятно, не приходится беспокоиться о том, откуда взять комплектующие для следующей модернизации. По когнитивной архитектуре LIDA немного напоминает OpenCog, а финансирует ее военно-морское ведомство США. LIDA основана на архитектуре (именуемой IDA), которую флот использует для поиска работы для моряков, чья служба подходит к концу. При этом «она» демонстрирует зачатки человеческих когнитивных способностей — по крайней мере, так сказано в пресс-релизе соответствующего департамента:
Она подбирает рабочие места, которые можно предложить морякам, принимая во внимание политику ВМС, требования к работникам, предпочтения моряков и собственные представления о подходящих датах. Затем она ведет переговоры с конкретным моряком, по-английски в форме последовательного обмена электронными письмами, о выборе работы. IDA ходит по когнитивному циклу, в ходе которого получает информацию об обстоятельствах, внутренних и внешних; создает смысл, интерпретируя обстоятельства и решая, что важнее; и отвечает на единственный вопрос, который ей задают [моряки]: "Что мне дальше делать?".
Наконец, как мы уже говорили в главе 3, многие УЧИ-про- екты целенаправленно маскируются. Так называемые стелс- компании часто не скрывают своих целей (к примеру, Adaptive AI Фосса), но молчат о способах и методиках. Они не хотят раскрывать свои технологии конкурентам и последователям и становиться мишенью промышленного шпионажа. Другие стелс- компании не говорят о своей деятельности, но не стесняются выпрашивать средства. Siri — компания, создавшая хорошо принятую пользователями с НЛП-подготовкой программу-секретаря для Apple iPhone, — была зарегистрирована буквально как «Stealth Company». Приведем цитату с сайта компании перед выходом ее на рынок:
«Мы образуем вторую по величине компанию Кремниевой долины. Наша цель — фундаментально изменить лицо пользовательского Интернета. Наша политика — оставаться в тени, пока мы тайно наносим последние штрихи на следующую серьезную разработку. Раньше, чем вы думаете, мы раскроем нашу историю во всей красе…
А теперь поговорим о финансировании и DARPA, а также о странной истории, которая приведет нас обратно к Siri.
В 1960–1990 гг. DARPA финансировало больше исследований ИИ, чем другие государственные организации и частные корпорации. Без финансирования со стороны DARPA компьютерной революции, может, просто не случилось бы, а ИИ если и начал бы развиваться, то намного медленнее и позже. В «золотой век» ИИ в 1960-е гг. агентство инвестировало в фундаментальные исследования ИИ в Университете Карнеги-Мел- лона, в Массачусетском технологическом институте, Стэнфордском университете и Стэнфордском исследовательском институте. И сегодня в этих учреждениях активно продолжаются работы по разработке ИИ; что характерно, все они, кроме Стэнфорда, открыто признают свои планы по созданию УЧИ или чего-то подобного.
Многие знают, что DARPA (тогда оно называлось ARPA) финансировало исследования, в результате которых был изобретен Интернет (первоначально называвшийся ARPANET), а также тех, кто разрабатывал вездесущий ныне GUI, или Графический пользовательский интерфейс, одну из версий которого вы, вероятно, видите всякий раз при использовании компьютера или смартфона. Помимо этого, агентство в значительной степени финансировало разработку «железа» и программного обеспечения для параллельной обработки данных, распределенных вычислений, компьютерного зрения и обработки естественного языка. Его вклад в фундамент компьютерных наук не менее важен для ИИ, чем сегодняшнее финансирование, нацеленное на конкретный результат.
Как DARPA расходует свои деньги? В недавнем годовом бюджете $61,3 млн выделено по категории «машинное обучение» и $49,3 млн — по категории «когнитивные вычисления». Однако проекты ИИ финансируются также по категории «информационные и коммуникационные технологии» ($400,5 млн) и «секретные программы» ($107,2 млн).
Судя по описанию в бюджете DARPA программ по когнитивным вычислениям, их цели в высшей степени амбициозны.
Программа "Когнитивные вычислительные системы"… готовит следующую революцию в технологиях обработки информации, которая позволит вычислительным системам получить способности к рассуждениям и обучению и гораздо более высокий уровень автономности, чем у сегодняшних систем.
Способность рассуждать, учиться и адаптироваться поднимет вычисления на следующий уровень и позволит создавать новые мощные приложения. Проект "Когнитивные вычисления" разработает основные технологии, которые позволят вычислительным системам обучаться, рассуждать и применять знания, полученные из опыта, а также разумно реагировать на вещи, с которыми система ранее не встречалась.
Эти технологии приведут к созданию систем, демонстрирующих повышенную автономность, способность к реконфигурации с целью самонастройки, готовность к сотрудничеству и выживаемость при ограниченном вмешательстве человека.
Если вам кажется, что это похоже на описание УЧИ, то вы правы. Само агентство DARPA не занимается разработками, оно поручает это другим, так что деньги из бюджета агентства достаются (по большей части) университетам в форме исследовательских грантов. Так что помимо проектов УЧИ, о которых мы уже говорили и участники которых стараются параллельно создавать выгодные побочные продукты и с их помощью финансировать разработку УЧИ, имеется небольшая, но куда лучше финансируемая группа проектов, связанных с вышеупомянутыми учреждениями и опирающихся на поддержку DARPA. В качестве примера можно назвать проект SyNAPSE в МТИ, о котором мы говорили в главе 4. Эта попытка создания компьютера, аналогичного по форме и функциям мозгу млекопитающего, полностью финансируется DARPA. Для начала этот мозг станет мозгом роботов, призванных состязаться в разумности с мышами и кошками, но в конечном итоге достанется гуманоидным роботам. За восемь лет проект SyNAPSE уже обошелся DARPA в $102,6 млн. Аналогично, проект NELL Университета Карнеги-Меллона финансируется в основном DARPA с небольшим участием Google и Yahoo.
А теперь вернемся к Siri. В свое время DARPA финансировало проект CALO (Cognitive Assistant that Learns and Organizes) по созданию «когнитивного помощника, способного учиться и организовывать» — этакого компьютеризированного Радара О'Рейли для офицеров. Название CALO связано с латинским словом «calonis», означающим «слуга солдата». CALO родился в SRI International (ранее — Стэнфордский исследовательский институт) — компании, созданной для развития коммерческих проектов на базе университетских исследований. Задача CALO? Читаем на сайте SRI:
Цель проекта — создание когнитивных программных систем, то есть систем, способных рассуждать, учиться на опыте, получать устные задания, объяснять, что они делают в настоящий момент, обдумывать собственный опыт и устойчиво реагировать на неожиданности.
Предполагалось, что в пределах собственной когнитивной архитектуры CALO соединит в себе такие инструменты ИИ, как обработка естественного языка, машинное обучение, представление знаний, человеко-компьютерное взаимодействие и гибкое планирование. DARPA финансировало CALO в 2003–2008 гг.; в проекте участвовали 300 исследователей из 25 учреждений, включая Boeing Phantom Works, Карнеги-Меллон, Гарвард и Йель. За четыре года из-под пера ученых вышло более 500 публикаций во многих областях знания, связанных с ИИ. И все это стоило американским налогоплательщикам $150 млн.
В целом CALO работал не так хорошо, как от него ожидали, но все же часть результатов представлялась перспективной — «механизм действия» (по контрасту с «поисковым механизмом»), который занимался такими вещами, как набор писем и текста под диктовку, различные вычисления и преобразования, консультации с расписанием полетов и установка напоминаний. SRI International — компания, координировавшая все предприятие, выделила из себя Siri (называемую для краткости стелс-компанией), чтобы собрать $25 млн дополнительных инвестиций и завершить разработку «механизма действия». В 2008 г. компания Apple Computer приобрела Siri примерно за $200 млн.
Сегодня программа Siri глубоко интегрирована в IOS — операционную систему iPhone. Это лишь небольшая часть того, чем обещала стать CALO, но это гораздо более умная штука, чем большинство приложений для смартфонов. А как же военные, которые должны были получить CALO? Им это тоже будет полезно — армия возьмет в сражение iPhone с предустановленной системой Siri и секретными боевыми приложениями.
Таким образом, одна из серьезных причин того, что финансирование не станет узким местом создания УЧИ и не замедлит интеллектуальный взрыв, состоит в том, что в нашем мире налогоплательщики, такие как вы и я, сами оплачивают разработку УЧИ компонент за компонентом, через DARPA (Siri), ВМС (LIDA) и другие открытые и не слишком открытые ветки правительства США. Затем мы оплачиваем все то же самое еще раз, теперь уже как важный новый компонент наших смартфонов и компьютеров. Мало того, SRI International выпустила в свет еще один продукт, созданный на базе проекта CALO, — Trapit. Это контент-администратор — персонифицированный инструмент поиска, который находит в Сети интересующую вас информацию и показывает ее в упорядоченном виде.
Еще одна причина того, почему экономика не замедлит интеллектуальный взрыв, вот в чем: когда УЧИ появится или ученые хотя бы подойдут вплотную к его созданию, всем захочется в этом поучаствовать. Всем без исключения. Гертцель указывает, что появление интеллектуальных систем человеческого уровня произвело бы ошеломляющее действие на мировую экономику. Производители УЧИ получили бы неограниченный инвест-капитал на завершение и коммерциализацию новой технологии. Диапазон товаров и услуг с участием интеллектуальных агентов человеческого калибра потрясает воображение. Возьмите хотя бы работу, выполняемую «белыми воротничками» всех сортов, — кто не захотел бы обзавестись командой машин, умных как люди, которые работали бы круглосуточно и делали то же самое, что делают нормальные работники из плоти и крови, но без отдыха и ошибок? Или возьмите программирование: как сказал в главе 5 Стив Омохундро, мы, люди, плохие программисты, а компьютерный разум идеально подходит для того, чтобы программировать лучше нас (и очень скоро воспользоваться программистским ноу-хау для усовершенствования собственных внутренних процессов).
Согласно Гертцелю:
…если бы ИИ мог разобраться в собственном устройстве, он сумел бы разобраться и в другом программном обеспечении и усовершенствовать его; таким образом, он оказал бы революционное влияние на индустрию программных продуктов. А поскольку большая часть финансовых сделок на рынках США в настоящее время реализуется программными трейдинговыми системами, можно предположить, что технологии УЧИ очень скоро стали бы незаменимыми в финансовом мире. Военные и шпионские организации, скорее всего, тоже нашли бы множество практических применений для этой технологии. О подробностях того, как все это будет происходить, можно спорить, но мы можем, по крайней мере, быть уверены, что любые ограничения скорости экономического роста и инвестиционный климат в период развития УЧИ быстро потеряют значение.
Далее стоит роботизировать УЧИ — поместить его в механическое тело — и перед нами откроются новые миры. Возьмите хотя бы опасные работы — добычу полезных ископаемых, морские и космические исследования, военное и пожарное дело, силовые ведомства. Добавьте обслуживание — заботу о пожилых и детях, обязанности слуг, служанок и личных секретарей. Роботы-садовники, шоферы, телохранители и личные тренеры. Наука, медицина, техника — какая область человеческой деятельности не испытала бы невероятный подъем с появлением команд никогда не устающих и по существу одноразовых разумных агентов человеческого уровня, работающих к тому же круглосуточно?
Далее, как мы уже говорили, международная конкуренция подтолкнет многие страны к покупке новой технологии или убедит вспомнить о собственных исследовательских проектах УЧИ. Гертцель говорит:
Если действующий прототип УЧИ приблизился бы к уровню, на котором взрыв представляется возможным, правительства всего мира признали бы эту технологию критически важной и не пожалели бы усилий ради того, чтобы первыми получить полностью функциональный УЧИ, "прежде чем это сделает противная сторона". Возможно, экономики целых стран были бы подчинены единственной цели — разработке первой сверхразумной машины. В общем, экономика не может послужить ограничивающим фактором интеллектуального взрыва; скорее, скорость экономического роста будет определяться состоянием различных УЧИ-проектов по всему миру.
Другими словами, как только мы начнем делить планету с иным разумом, превосходящим человеческий, многое изменится; затем все изменится еще раз, когда произойдет предсказанный Гудом интеллектуальный взрыв и появится УЧИ.
Но прежде чем рассматривать эти перемены и другие важные препятствия для разработки УЧИ и интеллектуального взрыва, давайте завершим разговор о финансировании как критическом барьере. Говоря попросту, никакой это не барьер. Разработка УЧИ не испытывает нужды в деньгах по трем причинам. Во-первых, нет недостатка в проектах слабого ИИ, которые могут позже стать компонентами систем ИИ человеческого уровня, известных как когнитивные архитектуры. Во-вторых, даже горстка «неприкрытых» проектов УЧИ развивается полным ходом и достигает значительного прогресса с различным источниками финансирования, не говоря уже о вероятных стелс-проектах. В-третьих, по мере приближения технологий ИИ к человеческому уровню поток финансирования будет только увеличиваться, и рано или поздно он перенесет ИИ через финишную черту. Денежные вливания будут настолько серьезными, что хвост, по существу, начнет вилять собакой. Если не принимать во внимание другие узкие места, то создание сильного искусственного интеллекта станет двигателем мировой экономики, которая к тому же будет подпитываться общими ожиданиями бесчисленных перемен, которые он привнесет в нашу жизнь.
Чуть дальше мы рассмотрим еще одно критическое препятствие — сложность программного обеспечения. Мы выясним, так ли уж велика сложность программных архитектур, соответствующих человеческому интеллекту, чтобы их создание оказалось нам не под силу, и действительно ли впереди нас ждет вечная ИИ-зима
