Книга: Последнее изобретение человечества
Назад: ГЛАВА 6 Четыре фундаментальные потребности
Дальше: ГЛАВА 8 Точка невозврата
ГЛАВА 7
Интеллектуальный взрыв
С точки зрения экзистенциальных рисков один из важнейших моментов, связанных с искусственным интеллектом, — то, что искусственный интеллект в принципе может наращивать свою интеллектуальность чрезвычайно быстро. Очевидная причина подозревать такую возможность — рекурсивное самосовершенствование (Гуд, 1965). ИИ становится умнее, в том числе и в написании внутренних когнитивных функций для ИИ, так что ИИ может переписать свои когнитивные функции, чтобы они работали еще лучше, что сделает этот ИИ еще умнее, в том числе и в переписывании самого себя, так что он проведет новые улучшения… Ключевое для наших целей следствие из всего этого — то, что любой ИИ может совершить гигантский скачок в уровне интеллекта после достижения некоего критического порога.Елиезер Юдковски, научный сотрудник Исследовательского института машинного интеллекта
Возможно, вы имели в виду: рекурсия.Поисковик Google на запрос «рекурсия»
До сих пор мы с вами рассматривали ИИ-сценарий настолько катастрофический, что его просто необходимо исследовать подробнее. Мы обсудили перспективную идею о том, как следует конструировать ИИ, чтобы избежать всякой опасности (речь идет о дружественном ИИ), и выяснили, что эта концепция неполна. Более того, сама идея запрограммировать разумную систему на абсолютно безопасные, раз и навсегда заданные цели или дать ей развиваемую способность генерировать для себя цели, которые на протяжении большого числа итераций оставались бы безопасными для нас, представляется попросту утопической.
Далее мы выяснили, почему вообще ИИ может стать опасным. Мы обнаружили, что многие потребности, которые должны мотивировать сознающую себя самосовершенствующуюся компьютерную систему, легко могут привести к катастрофическим последствиям для людей. Трагические исходы этих сценариев подчеркивают почти библейскую опасность греха как деянием, так и не деянием в процессе подверженного ошибкам человеческого программирования.
ИИ человеческого уровня, когда будет создан, может оказаться непредсказуемым и опасным, но, вероятно, в краткосрочной перспективе не катастрофически. Даже если УЧИ изготовит множество копий самого себя или организует командную работу по вопросу освобождения, его возможности, в том числе и опасные, все же не будут превышать возможности группы умных людей. Потенциальная опасность УЧИ заключается в основе сценария Busy Child — стремительном рекурсивном самосовершенствовании, которое позволит ИИ быстро «прокачать» себя с человеческого уровня до уровня сверхразума. Этот процесс обычно и называют «интеллектуальным взрывом».
Сознающая себя самосовершенствующаяся система будет стремиться к наилучшему выполнению поставленных перед ней задач и минимизации уязвимостей; для этого она будет улучшать себя. Она будет стремиться не к мелким улучшениям, а к серьезному непрерывному развитию всех аспектов своих когнитивных способностей, особенно отвечающих за развитие интеллекта. Она будет стремиться к интеллекту уровня выше человеческого, то есть к суперинтеллекту. Если написанные людьми программы окажутся хоть чуточку неидеальными, у нас будет множество оснований для страха перед сверхразумными машинами.
От Стива Омохундро мы знаем, что УЧИ будет естественным образом стремиться к интеллектуальному взрыву. Но что такое интеллектуальный взрыв? При выполнении каких минимальных аппаратных и программных требований он может произойти? Могут ли такие факторы, как недостаточное финансирование или просто сложность достижения вычислительной разумности, навсегда блокировать интеллектуальный взрыв?
Прежде чем обратиться к механике этого процесса, важно разобраться, что, собственно, означает этот термин и как математик Ирвинг Гуд предложил идею взрывного искусственного разума.
Американское шоссе № 81 начинается в штате Нью-Йорк и заканчивается в Теннесси, пересекая почти всю гряду Аппалачских гор. Повернув в центре Вирджинии на юг, трасса змеей извивается вверх и вниз по холмам, густо заросшим лесом, и травянистыми равнинам; отсюда открываются самые поразительные, мрачные и первобытные виды США. Аппалачи включают в себя Голубой хребет (от Пенсильвании до Джорджии) и хребет Грейт-Смоки (вдоль границы Северной Каролины и Теннесси). Чем дальше на юг, тем труднее поймать сигнал сотового телефона, а церквей вокруг становится больше, чем домов; музыка кантри на радио сменяется сперва духовными песнопениями, а затем и речами проповедников, вещающих о геенне огненной. Именно там я услышал памятную песню Джоша Тёрнера об искушении под названием «Длинный черный поезд». Там я слышал, как проповедник начал рассказ с Авраама и Исаака, запутался и закончил притчей о хлебах и рыбах; не забыл он упомянуть и про ад, просто для порядка. Я подъезжал к Смоки-Маунтинз, к границе с Северной Каролиной и Вирджинскому политехническому институту и Университету штата Вирджиния в Блэксбурге. Девиз этого университета выглядит так: «Изобретай будущее».
Если бы вы проезжали по этому шоссе двадцать лет назад (а шоссе I-81 за прошедшие годы почти не изменилось), вас вполне мог бы обогнать кабриолет Triumph Spitfire с особым заказным номером — 007 IJG. Номер принадлежал Ирвингу Гуду — заслуженному профессору статистики, прибывшему в Блэксбург в 1967 г. Номер «007» отсылал, естественно, к Яну Флемингу и секретной работе самого Гуда в качестве дешифровщика в Блетчли-парк (Англия) во время Второй мировой войны. Взлом системы шифров, которой пользовались вооруженные силы Германии, внес существенный вклад в поражение держав «оси». В Блетчли-парке Гуд работал с Аланом Тьюрингом, которого называют отцом современной вычислительной техники (он же — создатель одноименного теста, о котором шла речь в главе 4), и участвовал в создании и программировании одного из первых электрических вычислительных устройств.
В Блэксбурге Гуд считался знаменитостью — его жалованье было выше, чем жалованье президента местного университета. Он всегда был неравнодушен к числам и сразу заметил, что приехал в Блэксбург в седьмом часу седьмого дня седьмого месяца седьмого года седьмого десятилетия, а поселили его в седьмой квартире седьмого квартала местного жилого комплекса. Гуд говорил друзьям, что Бог посылает подобные совпадения атеистам, таким как он, чтобы убедить их в своем существовании.
«У меня есть не до конца оформленная идея, что Бог посылает человеку тем больше совпадений, чем больше тот сомневается в его существовании, предоставляя таким образом свидетельства, но не заставляя верить, — говорил Гуд. — Когда я поверю в эту теорию, совпадения, надо понимать, прекратятся».
Я ехал в Блэксбург, чтобы расспросить о Гуде его друзей (сам он недавно умер в возрасте 92 лет). В основном мне хотелось узнать, как Гуд пришел к идее интеллектуального взрыва и возможен ли такой взрыв на самом деле. Концепция интеллектуального взрыва стала первым крупным звеном в цепочке, которая в конце концов породила гипотезу сингулярности.
К несчастью, в обозримом будущем любое упоминание Технического университета Вирджинии будет вызывать в памяти устроенную здесь бойню. 16 апреля 2007 г. старшекурсник Сёнг-Ху Чо, специализировавшийся на изучении английского языка, убил тридцать два студента и сотрудника университета и ранил еще двадцать пять человек. Это самое кровавое преступление стрелка-одиночки в истории США. Если говорить коротко, то сначала Чо застрелил студентку-младшекурсницу в общежитии университета (в корпусе Эмбер Джонстон), а затем и студента, который пытался ей помочь. Два часа спустя Чо начал бойню в инженерном корпусе (Норрис-холле) университета, в котором и пострадало большинство людей. Прежде чем начать стрельбу, Чо накрепко запер тяжелые дубовые двери корпуса, чтобы никто не мог убежать.
Когда давний друг и коллега-статистик Гуда доктор Голд Хольцман показал мне бывший кабинет Гуда по другую сторону зеленой лужайки Дриллфилда (там когда-то располагался военный плац университета), я обратил внимание на то, что из окон кабинета вдалеке виден Норрис-холл. Но к моменту трагедии, сказал мне Хольцман, Гуд был уже в отставке. Он находился не в кабинете, а дома, может быть, рассчитывал вероятность существования Бога.
По словам доктора Хольцмана, незадолго до смерти Гуд увеличил эту вероятность с нуля до одной десятой. Сделал он это потому, что как статистик был давним последователем Байеса. Основная идея байесовской статистики, названной в честь математика и священника XVIII в. Томаса Байеса, состоит в том, что вычисление вероятности некоего утверждения можно начинать с того, во что вы лично верите. Затем эту веру следует подправлять в зависимости от новых данных, подтверждающих или опровергающих ваше утверждение.
Если бы первоначальное неверие Гуда в Бога осталось стопроцентным, то никакие данные и даже явление самого Господа ничего бы не изменили. Поэтому, чтобы быть верным байесовскому подходу, Гуд ввел небольшую положительную вероятность существования Бога; это позволяло ему быть уверенным, что новые данные, если таковые появятся, не останутся неучтенными.
В работе 1965 г. «Размышления о первой ультраразумной машине» Гуд изложил простое и элегантное доказательство, которое часто упоминается в дискуссиях об искусственном интеллекте и сингулярности:
Определим ультраразумную машину как машину, способную намного превзойти любую интеллектуальную деятельность человека, каким бы умным он ни был. Поскольку конструирование машин — одно из интеллектуальных действий, ультраразумная машина способна конструировать все более совершенные машины; затем, бесспорно, произойдет "интеллектуальный взрыв", и человеческий разум останется далеко позади. Таким образом, первая ультраразумная машина — это последнее изобретение, которое потребуется от человека…
Известно три проработанных определения сингулярности — первое из них принадлежит Гуду и приведено выше. Гуд никогда не использовал термин «сингулярность», но его постулат о том, что сам Гуд считал неизбежной и позитивной вехой в истории человечества, — об изобретении машин умнее человека, — положил начало дискуссиям о сингулярности. Перефразируя Гуда, если вы построите сверхразумную машину, она будет лучше человека справляться со всем, для чего мы используем свой мозг, в том числе и со строительством сверхразумных машин. Поэтому первая такая машина запустит интеллектуальный взрыв — стремительный рост интеллекта, — по мере того как будет раз за разом совершенствовать себя или просто строить машины умнее себя. Эта машина или машины оставят мощь человеческого разума далеко позади. После интеллектуального взрыва человеку уже не нужно будет ничего изобретать — все его потребности будут удовлетворять машины.
Этот абзац из работы Гуда справедливо находит место в книгах, статьях и очерках о сингулярности, будущем искусственного интеллекта и его рисках. Но две важные мысли почти всегда почему-то остаются за рамками дискуссии. Первая мысль сформулирована в первом же вводном предложении статьи. Она великолепна: «Выживание человечества зависит от скорейшего создания ультраразумной машины». Вторая мысль — часто опускаемая вторая половина последнего предложения процитированного абзаца. Последнее предложение наиболее часто цитируемого отрывка из Гуда следует читать с полным вниманием:
Таким образом, первая ультраразумная машина — это последнее изобретение, которое потребуется от человека, если, конечно, эта машина будет достаточно сговорчивой, чтобы сообщить нам, как можно ее контролировать (курсив мой. — Авт.).
Эти два предложения рассказывают нам кое-что важное о намерениях Гуда. Он считал, что у нас, людей, столько сложнейших неотложных проблем — гонка ядерных вооружений, загрязнение окружающей среды, войны и т. п., — что спасти нас может только высочайший интеллект (выше нашего), который воплотится в виде сверхразумной машины. Второе предложение говорит о том, что отец концепции интеллектуального взрыва остро чувствовал опасность: создание сверхразумных машин, даже если они необходимы для выживания человечества, может обернуться против нас. Возможность удерживать сверхразумную машину под контролем — вовсе не данность, говорит Гуд. При этом он не считает, что мы сами придумаем, как это делать, — машина должна будет нас научить.
Гуд, несомненно, знал кое-что о машинах, способных спасти мир, — ведь в свое время в Блетчли-парке во время войны с Германией он участвовал в создании первых электрических вычислителей и работе на них. Он также знал кое-что об экзистенциальных рисках — он был евреем и сражался с нацистами, а его отец бежал от погромов из Польши в Великобританию.
Мальчиком отец Гуда — поляк и интеллектуал-самоучка — изучил ремесло часовщика, наблюдая за работой часовщиков через окна витрин. Ему было семнадцать лет, когда в 1903 г. он отправился в Англию с тридцатью пятью рублями в кармане и большим кругом сыра. В Лондоне юноша пробавлялся случайными заработками, пока не открыл собственную ювелирную мастерскую. Дела пошли успешно, он женился. В 1915 г. родился Исидор Якоб Гудак (ставший позже Ирвингом Джоном Гудом по прозвищу Джек). После него в семье родились еще один мальчик и девочка — талантливая танцовщица, погибшая позже в театре при пожаре. Ее ужасная смерть заставила Джека Гуда отвергнуть существование Бога.
Гуд был математическим вундеркиндом; однажды он встал в своей детской кроватке и спросил у матери, сколько будет тысячу раз по тысяче. Лежа в постели с дифтерией, он независимо открыл иррациональные числа (те, которые невозможно записать в виде простой дроби, такие как
К 14 годам он заново открыл математическую индукцию — один из методов математического доказательства. К тому моменту учителя-математики просто оставили его наедине с книгами. В Кембриджском университете Гуд завоевал все математические награды, возможные на пути к степени доктора философии, и открыл в себе страсть к шахматам.
Именно из-за игры в шахматы через год после начала Второй мировой войны тогдашний чемпион Британии по шахматам Хью Александер пригласил Гуда в 18-й корпус в Блетчли-парке, где работали дешифровалыцики. Они занимались взломом кодов, которыми пользовались все державы «оси» — Германия, Япония и Италия, — но особое внимание всегда уделялось германским кодированным сообщениям. Германские подлодки топили торговые суда союзников с устрашающей скоростью — только за первую половину 1942 г. жертвами подлодок стали около 500 союзных судов. Британский премьер-министр Уинстон Черчилль опасался, что голод может обречь его островную страну на поражение.
Немецкие сообщения передавались по радио, и англичане без особого труда перехватывали их при помощи специальных «слуховых» вышек. С самого начала войны Германия применяла для шифрования сообщений специальную машину под названием «Энигма». Эта машина, имевшаяся во всех шифровальных подразделениях германских вооруженных сил, по форме и размеру напоминала старомодную механическую пишущую машинку. Каждая клавиша соответствовала букве. При нажатии на клавишу ток проходил электрическую цепь и зажигал лампочку с кодовой буквой. В цепи находились вращающиеся барабаны, что позволяло замыкать цепь в различных комбинациях. В базовом варианте «Энигмы» было три барабана, и каждый из них мог закодировать букву предыдущего барабана. Для алфавита из 26 букв возможны были 403 291 461 126 605 635 584 000 вариантов. Барабаны (шаблоны) менялись почти ежедневно.
Когда немец посылал зашифрованное «Энигмой» сообщение, получатель расшифровывал его при помощи собственной «Энигмы»; для этого достаточно было иметь такие же шаблоны, как у отправителя.
К счастью, в Блетчли-парке оказалось собственное «секретное оружие» — Алан Тьюринг. До войны Тьюринг изучал математику и криптографию в Кембридже и Принстоне. Он придумал — вообразил — «автоматическую машину», ныне известную как машина Тьюринга. Эта автоматическая машина заложила фундаментальные принципы машинных вычислений.
Гипотеза Чёрча-Тьюринга, объединившая работы Тьюринга и принстонского профессора-математика Алонсо Чёрча, дала серьезный толчок к исследованию искусственного интеллекта. Эта гипотеза утверждает, что все, что может быть вычислено по алгоритму или по программе, может быть вычислено машиной Тьюринга. Исходя из этого, если мозговые процессы могут быть выражены в виде серии команд — алгоритма, то компьютер может обрабатывать информацию в точности так же, как мозг. Иными словами, если в человеческом мышлении нет ничего мистического или магического, то разум (интеллект) может быть воплощен в компьютере. Понятно, что разработчики УЧИ возлагают свои надежды на гипотезу Чёрча-Тьюринга.
Война преподала Тьюрингу интенсивный экспресс-курс всего того, о чем он думал до войны, и многого такого, о чем он не думал (к примеру, нацизма и подводных лодок). В разгар войны сотрудники Блетчли-парка расшифровывали порядка 4000 перехваченных сообщений в день, и делать это вручную становилось все сложнее. Это была работа для машины. И очень кстати пришлась принципиальная догадка Тьюринга о том, что проще понять, чем не являются шаблоны «Энигмы», чем разобраться, чем они являются.
У дешифровщиков был материал для работы — перехваченные сообщения, «взломанные» вручную или при помощи электрических дешифровальных машин под названием Bombes. Такие сообщения сотрудники Парка называли «поцелуями». Тьюринг, как и Гуд, был убежденным последователем Байеса в те времена, когда статистические методы воспринимались как своего рода волшебство. Суть метода — теорема Байеса — говорит о том, как извлекать из данных вероятности неизвестных событий, в данном случае тех или иных шаблонов «Энигмы». «Поцелуи» давали дешифровщикам те самые данные, при помощи которых можно было определить, какие варианты шаблонов имеют очень низкую вероятность, — и, соответственно, более эффективно сосредоточить усилия. Конечно, шифры менялись чуть ли не каждый день, так что работа в Блетчли-парке напоминала непрерывную гонку.
Тьюринг с коллегами разработал серию электронных устройств, которые должны были оценивать и исключать возможные шаблоны «Энигмы». Вершиной развития этих первых компьютеров стала серия машин под общим названием «Колосс» (Colossus). «Колосс» способен был считывать 5000 знаков в секунду с бумажной ленты, которая протягивалась со скоростью около 40 км в час. В нем было 1500 вакуумных ламп, и занимал он целую комнату. Одним из главных пользователей этой машины и создателем половины теории, на которую опиралась ее работа, был главный статистик Тьюринга на протяжении почти всего военного времени — Ирвинг Джон Гуд.
Благодаря героям Блетчли-парка Вторая мировая война, вероятно, стала короче на два-четыре года, что позволило сохранить бесчисленное количество жизней. Но в честь этих секретных воинов не устраивали парадов. Черчилль приказал разбить все шифровальные машины Блетчли-парка на куски не крупнее теннисного мячика, чтобы их дешифровальные возможности нельзя было обернуть против Великобритании. Дешифровщики поклялись хранить молчание в течение тридцати лет. Тьюринг и Гуд были приглашены на работу в Манчестерский университет, где их бывший шеф Макс Ньюман собирался строить вычислитель общего назначения. Тьюринг работал в Национальной физической лаборатории над конструкцией компьютера, когда его жизнь внезапно полетела под откос. Приятель, с которым у него какое-то время были близкие отношения, ограбил его дом. Сообщив о преступлении в полицию, Тьюринг рассказал и о сексуальных отношениях. Его обвинили в грубой непристойности и лишили допуска к секретным материалам.
В Блетчли Тьюринг и Гуд часто обсуждали такие футуристические идеи, как компьютеры, разумные машины и «автоматический» шахматист. Шахматы сблизили их, и Гуд обычно выигрывал. В ответ Тьюринг научил его го — азиатской стратегической игре, в которой Гуд тоже выиграл. Тьюринг, бегун-стайер мирового класса, придумал особую форму шахмат, в которых можно было уравновесить шансы разноуровневых игроков. После каждого хода игрок должен был обежать вокруг сада. Он получал два хода подряд, если успевал вернуться прежде, чем его противник сделает ход.
Вынесенный в 1952 г. Тьюрингу приговор удивил Гуда — он не знал о гомосексуальности Тьюринга. Тьюрингу пришлось выбирать между тюрьмой и химической кастрацией. Он выбрал последнее и должен был регулярно являться на уколы эстрогена. В 1954 г. он съел яблоко, начиненное цианидом. Безосновательный, но упорный слух связывает логотип фирмы Apple именно с этим яблоком.
После истечения срока секретности Гуд одним из первых выступил против того, как правительство обошлось с его другом и героем войны.
«Я не стану говорить, что работа Тьюринга помогла нам выиграть войну, — сказал Гуд. — Но я осмелюсь все же заметить, что без него мы могли ее проиграть». В 1967 г. Гуд ушел из Оксфордского университета и принял предложенное ему место в Вирджинском политехническом институте в Блэксбурге. Ему тогда было 52 года. В последующие годы жизни он возвращался в Великобританию лишь однажды
В той поездке в 1983 г. его сопровождала высокая 25-летняя красавица-блондинка из Теннесси по имени Лесли Пендлтон. Гуд встретил Пендлтон в 1980 г., сменив до этого десять секретарш за тринадцать лет. Девушка, выпускница Вирджинского политехнического института, сумела удержаться на этом месте и не сломаться под давлением безжалостного перфекционизма Гуда. Когда она впервые отправляла одну из его статей в математический журнал, рассказала мне Пендлтон, «он внимательно наблюдал, как я положила статью и сопроводительное письмо в конверт. Он внимательно наблюдал, как я этот конверт запечатала, — он не любил, когда клей смачивают слюной, и заставил меня воспользоваться губкой. Он внимательно наблюдал, как я наклеиваю марку. Он ждал меня у двери в почтовую комнату, чтобы убедиться, что отправка прошла нормально, как будто меня могли украсть по дороге или еще что-то могло случиться. Он был странным человечком».
Гуд хотел жениться на Пендлтон. Однако для нее сорокалетняя разница в возрасте оказалась слишком серьезным препятствием. Тем не менее между английским чудаком и красавицей из Теннесси сложились отношения, которые она даже сейчас с трудом может описать. На протяжении тридцати лет она сопровождала его на отдыхе, следила за всеми его бумажками и подписками, вела его дела как на работе, так и после отставки до самой смерти, включая и заботу об ухудшающемся здоровье. При встрече она показала мне дом Гуда в Блэксбурге — кирпичное одноэтажное здание с пологой крышей возле федеральной трассы № 460, которая в те времена, когда он только поселился в Теннесси, была всего лишь двухполосной сельской дорогой.
Сегодня Лесли Пендлтон — стройная женщина пятидесяти с чем-то лет, доктор философии и мать двух взрослых детей. Она профессор и администратор в Вирджинском политехническом, владычица расписаний, аудиторий и профессорских прихотей, к которым работа с Гудом ее отлично подготовила. И несмотря на то, что она вышла замуж за ровесника и вырастила детей, многие местные жители ставили под сомнение характер ее отношений с Гудом. Ответ Лесли Пендлтон дала в 2009 г. в надгробном слове на похоронах Гуда. Нет, между ними никогда не было романтических отношений, сказала она, но они всегда были преданы друг другу. В лице Пендлтон Гуд не обрел возлюбленной, но обрел лучшего друга на тридцать лет жизни и непреклонного защитника своего наследия и памяти.
Во дворе дома Гуда, под аккомпанемент надоедливого, как комариный писк, гудения близкого шоссе, я спросил Пендлтон, говорил ли когда-нибудь знаменитый дешифровщик об интеллектуальном взрыве и о том, сможет ли когда-нибудь компьютер снова спасти мир, как это произошло во времена его молодости. Она на мгновение задумалась, пытаясь отыскать что-то в памяти, а затем ответила, к моему немалому удивлению, что Гуд изменил свое мнение об интеллектуальном взрыве. Она сказала, что ей нужно посмотреть кое-какие его бумаги, чтобы ответить на этот вопрос как следует.
В тот же вечер в тихом ресторанчике, где Гуд обычно вечером в субботу встречался со своим другом Голдом Хольцманом, тот рассказал мне, что на взгляды Гуда сильное влияние оказали три вещи: Вторая мировая война, холокост и несчастная судьба Тьюринга. Это помогло мне связать мысленно военный опыт Гуда и то, что он написал в работе «Размышления о первой ультраразумной машине». Гуду и его коллегам пришлось столкнуться в жизни со смертельной угрозой, и одержать победу в борьбе им помогли вычислительные машины. Если машина могла спасти мир в 1940-е, то, может быть, сверхразумная машина могла бы решить проблемы человечества в 1960-е. А если машина получила бы возможность обучения, ее интеллект буквально взорвался бы. Человечеству пришлось бы приспособиться к жизни на одной планете со сверхразумными машинами. В «Размышлениях» он писал:
Машины вызовут социальные проблемы, но не исключено, что они смогут и решать их в дополнение к проблемам, порожденным микробами и людьми. Такие машины будут внушать страх и уважение, возможно, даже любовь. Некоторым читателям эти замечания могли бы показаться чистой фантазией, но автору они представляются очень реальными и насущными, заслуживающими особого внимания за пределами научной фантастики.
Между Блетчли-парком и интеллектуальным взрывом нет прямой концептуальной связи, их соединяет лишь извилистая линия, испытавшая множество влияний. В 1996 г. в интервью статистику и бывшему ученику Дэвиду Бэнксу Гуд рассказал, что на написание этого очерка его подвигло погружение в проблемы искусственных нейронных сетей (ИНС). Они представляют собой вычислительную модель, имитирующую деятельность настоящих нейронных сетей в мозге человека. При стимуляции нейроны мозга посылают сигнал другим нейронам. Этот сигнал может нести зашифрованную информацию о воспоминании, может порождать действие, а может делать то и другое одновременно. Гуд в свое время познакомился с книгой психолога Дональда Хебба, в которой тот предположил, что поведение нейронов можно смоделировать математически.
Машинный «нейрон» должен быть соединен с другими машинными нейронами, причем каждому соединению придается численный «вес» в соответствии с его устойчивостью. Считается, что машинное обучение имеет место, если два нейрона активируются одновременно, и «вес» связи между ними возрастает. «Между клетками, которые срабатывают вместе, появляется связь». Это утверждение стало лозунгом теории Хебба. В 1957 г. психолог из Массачусетского технологического института (МТИ) Фрэнк Розенблатт создал на основе работ Хебба нейронную сеть и назвал ее Перцептроном. Перцептрон, реализованный на базе компьютера фирмы IBM, занимавшего целую комнату, «видел» и распознавал простые визуальные образы. В 1960 г. IBM попросила Гуда оценить Перцептрон. «Мне казалось, что нейронные сети с их параллельной работой имеют не меньше шансов привести к созданию разумной машины, чем программирование», — рассказывал Гуд. Первые доклады, на которых, собственно, и основывались «Размышления о первой ультраразумной машине», вышли два года спустя. Родилась концепция интеллектуального взрыва.
Мнении Гуда об ИНС содержало больше истины, чем он сам догадывался. Сегодня искусственные нейронные сети — тяжеловесы искусственного интеллекта, они задействованы в самых разных приложениях, от систем распознавания речи и почерка до программ финансового моделирования, от одобрения кредитов до управления роботами. У ИНС прекрасно получается высокоуровневое, быстрое распознавание образов, необходимое для всех этих работ. В большинстве приложений возможна также «тренировка» нейронных сетей на больших массивах данных (называемых обучающими выборками), на которых сеть «усваивает» закономерности. Позже она может узнавать аналогичные структуры в новых данных. Аналитики могут задать вопрос: если судить по данным последнего месяца, как будет выглядеть фондовый рынок через неделю? Или: какова вероятность, что некто не сможет оплачивать закладную на дом, если исходить из истории его доходов, расходов и кредитных данных за три года?
Подобно генетическим алгоритмам, ИНС представляют собой «черные ящики». То есть входные данные — веса соединений сети и нейронные срабатывания — прозрачны. То, что получается на выходе, тоже понятно. Но что происходит внутри? Никто не понимает. Выходные данные систем искусственного интеллекта типа «черный ящик» невозможно предсказать, поэтому они не могут быть по-настоящему, доказательно «безопасными».
Но они, скорее всего, будут играть значительную роль в системах УЧИ. Сегодня многие исследователи уверены, что распознавание образов — то, на что был нацелен Перцептрон Розенблатта, — представляет собой главный инструмент интеллекта. Джефф Хокинс, изобретатель карманного компьютера Palm Pilot и коммуникатора Handspring Treo, первым реализовал на ИНС распознавание рукописного текста. Его компания Numenta создает УЧИ на основе технологии распознавания образов. Бывший главный технолог Numenta Дайлип Джордж теперь возглавляет фирму Vicarious Systems, корпоративные амбиции которой отражает девиз: «Мы создаем программное обеспечение, которое думает и учится, как человек».
Нейробиолог, когнитивист и инженер-биомедик Стивен Гроссберг предложил модель на основе ИНС, которая, по мнению некоторых специалистов, может привести к созданию УЧИ и, возможно, «ультраразума», потенциал которого Гуд видел в нейронных сетях. Если говорить в самом общем плане, сначала Гроссберг определяет роли в когнитивном процессе различных областей коры головного мозга. Именно здесь обрабатывается информация и рождается мысль. Затем он создает ИНС-модели всех задействованных областей. Он уже добился успеха в обработке движения и речи, распознавании формы и выполнении других сложных задач. Теперь он занимается разработкой логической связи своих модулей.
Возможно, машинное обучение было для Гуда новой концепцией, но при оценке Перцептрона для IBM он обязательно должен был столкнуться с алгоритмами машинного обучения. При этом манящая перспектива обучения машины подобно человеку вызвала у Гуда мысли о возможных последствиях, которые никому другому тогда еще не приходили в голову. Если машина способна сделать себя умнее, то эта новая, улучшенная машина способна будет сделать себя еще умнее, и т. д.
В бурные 1960-е, когда рождалась концепция интеллектуального взрыва, Гуд, возможно, думал о тех проблемах, с решением которых разумная машина могла бы помочь. Тогда уже не нужно было топить вражеские подлодки, но был на Земле враждебный Советский Союз, были Карибский кризис, убийство президента Кеннеди и опосредованная война между США и Китаем в Юго-Восточной Азии. Человечество катилось к гибели; казалось, настало время нового Колосса. В «Размышлениях» Гуд писал:
[Пионер вычислительной техники] Б.В. Боуден утверждал… что нет смысла строить машину с разумом человека, поскольку проще создать человеческий мозг обычным методом… Отсюда видно, что даже высокоинтеллектуальные люди могут проглядеть "интеллектуальный взрыв". Да, правда, строить машину, способную лишь на обычные интеллектуальные приложения, неэкономично, но представляется достаточно вероятным, что если это в принципе возможно, то затем при двойных затратах машина сможет продемонстрировать ультраразум.
Так что, затратив еще некоторое количество долларов, можно получить ИСИ — искусственный суперинтеллект, говорит Гуд. Но затем берегись возможных последствий на уровне цивилизации — ведь планету придется делить с другим разумом, более мощным, чем человеческий.
В 1962 г., перед написанием «Размышлений о первой ультраразумной машине», Гуд редактировал книгу под названием «Ученый размышляет». Он написал для нее главу «Социальные последствия искусственного интеллекта» — своего рода разминку перед формированием идей о суперинтеллекте, над которыми он в то время размышлял. Он писал — а Стив Омохундро повторил за ним почти пятьдесят лет спустя, — что среди проблем, которыми придется заниматься разумным машинам, обязательно будут и проблемы, вызванные их собственным появлением на Земле, нарушающим сложившийся порядок.
Такие машины… могли бы даже выдвигать полезные политические и экономические предложения; и они должны будут делать это, чтобы компенсировать проблемы, вызванные их собственным существованием. Это будут проблемы перенаселенности, возникшие из-за победы над болезнями, и безработицы, причиной которой станет эффективность роботов низкого уровня, которых сконструируют главные машины.
Однако, как мне предстояло узнать, позже Гуд пережил удивительную метаморфозу и совершенно изменил свои взгляды. Я всегда причислял его к оптимистам, таким как Рэй Курцвейл, поскольку он видел в молодости, как машины «спасали» мир, и в своем очерке ставил выживание человека в зависимость от создания сверхразумной машины. Но подруга Гуда Лесли Пендлтон намекнула на изменение позиции. Ей потребовалось время, чтобы припомнить обстоятельства и контекст, но в последний день моего пребывания в Блэксбурге она рассказала мне все, что помнила.
В 1998 г., когда ему было восемьдесят два, Гуд был удостоен медали «Пионер компьютерной техники» сообщества IEEE (Института инженеров электротехники и электроники). В речи, произнесенной по этому поводу, его попросили рассказать свою биографию. Он составил биографию, но не стал ее зачитывать, и на церемонии она не прозвучала. Вероятно, только Пендлтон знала о ее существовании. Она сделала копию этой биографии и отдала мне перед отъездом из Блэксбурга вместе с кое-какими другими бумагами, которые я у нее просил.
Прежде чем вновь выехать на автостраду I-81 и направиться обратно на север, я прочитал автобиографию Гуда в машине на стоянке центра облачных вычислений Rackspace. Подобно Amazon и Google, Rackspace предлагает серьезные компьютерные мощности за небольшие деньги, сдавая в аренду время десятков тысяч своих процессоров и место под экзабайты информации. Конечно, Вирджинскому политехническому институту удобно иметь у себя под боком такую организацию, как Rackspace, и мне хотелось посетить их вычислительный центр, но он был закрыт. А позже мне пришло в голову: как странно, что в десятках метров от того места, где я читал автобиографические заметки Гуда, десятки тысяч процессоров с воздушным охлаждением работали над решением мировых проблем.
В своей биографии, игриво написанной от третьего лица, Гуд вспомнил все вехи своей жизни, включая и никому, вероятно, прежде не известные воспоминания о работе в Блетчли-парке с Тьюрингом. Но вот что он написал в 1998 г. о первом суперинтеллекте и о том, как изменились его взгляды:
[Статья] "Размышления о первой ультраразумной машине" (1965 г.)… начиналась так: "Выживание человека зависит от скорейшего создания ультраразумной машины". Таковы были его [Гуда] слова во время холодной войны, но сейчас он подозревает, что "выживание" следовало бы заменить на "вымирание". Он считает, что из-за международной конкуренции мы не сможем предотвратить переход власти к машинам. Он считает нас леммингами. Он сказал также, что "вероятно, человек создаст deux ex machina по своему образу и подобию".
Я читал это и смотрел невидящими глазами на здание Rackspace. В конце жизни Гуд пересмотрел не только свое мнение о вероятности существования Бога. Я как будто нашел послание в бутылке, примечание, изменившее смысл текста на прямо противоположный. Теперь у нас с Гудом появилось кое-что общее. Мы оба считали, что интеллектуальный взрыв добром не кончится.
