Глава 12
Применение моделей человеческого поведения в ИИ

Подход Тома Гриффитса к проблеме «выравнивания ценностей» при разработке ИИ – то есть к изучению того, как именно мы можем удержать новейшие серийные модели ИИ от превращения планеты в одну большую скрепку – основывается на деятельности человека, ученого-когнитивиста, каковым он и является. Том считает, что ключом к машинному обучению выступает обязательное человеческое наставление, которое он исследует в Принстоне с использованием математических и компьютерных инструментов.

Том однажды сказал мне, что «одна из загадок человеческого интеллекта заключается в том, что мы способны так много сделать при столь малом ресурсе». Подобно машинам, люди используют алгоритмы принятия решений и решения задач; принципиальная разница состоит в общем уровне успехов человеческого мозга, несмотря на сравнительную ограниченность его вычислительных ресурсов.

Эффективность человеческих алгоритмов проистекает, если обратиться к жаргону исследователей ИИ, из «ограниченной оптимальности». Как отмечал психолог Дэниел Канеман, люди рациональны лишь до определенной степени. Будь мы совершенно рациональны, то рисковали бы свалиться замертво, прежде чем приняли бы сколь-нибудь важное решение – кого нанимать, на ком жениться и т. д. – в зависимости от количества вариантов, доступных для обработки.

«Учитывая все успехи ИИ в последние несколько лет, мы получили хорошие модели таких объектов, как изображения и тексты, но нам не хватает хороших моделей людей, – говорит Том. – Человеческие существа по-прежнему являются лучшими образчиками мыслящих машин. Определив количество и природу предубеждений, формирующих человеческое познание, мы сможем заложить основы для приближения компьютеров к человеческим возможностям».

Когда просишь вообразить мир, в котором успешно и с пользой для себя люди взаимодействуют с искусственным интеллектом, то, как правило, у каждого формируется немного своя картинка. Наши идиосинкратические представления о будущем могут различаться наличием или отсутствием космических кораблей, летающих машин или человекоподобных роботов. Но одно в них остается неизменным – это присутствие людей. О том же, безусловно, думал и Норберт Винер, когда писал о способности машин улучшить человеческое общество через взаимодействие с людьми и помощь им в налаживании контактов друг с другом. Чтобы добиться этого, недостаточно придумать способ сделать машины умнее. Понадобится также как следует разобраться в работе человеческого разума.

Новейшие достижения в области искусственного интеллекта и машинного обучения привели к появлению систем, которые на равных соперничают с человеком или даже превосходят людей в умении играть в игры, классифицировать изображения и обрабатывать тексты. Но если захочется узнать, почему водитель машины, идущей слева, вас «подрезал», почему люди голосуют вопреки собственным интересам и какой подарок на день рождения действительно обрадует брачного партнера, будет лучше спросить человека, а не машину. Решение таких задач в системе ИИ требует построения моделей человеческого разума, это важно не только для стимулирования интеграции машин в человеческое общество, но и для того, чтобы человеческое общество продолжало существовать.

Давайте вообразим автоматизированного интеллектуального помощника, способного выполнять такие базовые функции, как распределение еды и заказ продуктов. Для успешного решения этих задач он должен уметь делать выводы о ваших желаниях, отталкиваясь от вашего поведения. Со стороны кажется, что тут нет ничего сложного, но делать выводы о человеческих предпочтениях не так-то просто. Например, ваш помощник замечает, что больше всего вам нравятся десерты, – и примется планировать приемы пищи, подавая исключительно десерты. Или, может быть, он услышит ваши жалобы на отсутствие достаточного количества свободного времени и заметит, что уход за собакой отнимает у вас значительное количество этого свободного времени; после отказа от «десертного меню» он сообразит, что вы предпочитаете блюда, содержащие белок, а потому может заняться изучением рецептов, где фигурирует собачье мясо. Отсюда уже довольно близко до ситуаций, которые выглядят проблемными для человечества в целом (не забывайте, что мы все – обильные источники белка).

Умение делать выводы о человеческих желаниях является необходимым условием для успешного решения проблемы выравнивания ценностей – когда ценности автоматизированной интеллектуальной системы сопоставляются с человеческими. Выравнивание необходимо, если мы хотим, чтобы автоматизированные интеллектуальные системы действовали в наших интересах. Если они не в состоянии делать выводы о том, что для нас значимо, у них не будет ни малейшего стимула действовать на пользу нам – зато они вполне могут действовать вразрез с нашими ценностями.

Выравниванию ценностей в последнее время начинают уделять все больше внимания в исследованиях искусственного интеллекта. Одним из способов решения этой задачи считается обучение с обратным подкреплением. Вообще обучение с подкреплением – типовой метод обучения интеллектуальных машин. Связывая конкретные результаты с наградами, систему машинного обучения можно научить реализации стратегий, приносящих подобные результаты. Винер намекал на эту возможность еще в 1950-х годах, а в последующие десятилетия его идеи развивали и осуществляли на практике. Современные системы машинного обучения способны находить чрезвычайно эффективные методики прохождения компьютерных игр – от простых аркад игр до сложных стратегий в реальном времени – посредством алгоритмов обучения с подкреплением. Техника обратного подкрепления переворачивает привычный подход: наблюдая за действиями интеллектуального агента, который уже усвоил эффективные методики, мы можем предполагать, какие награды привели к разработке этих методик.

В своей простейшей форме обучение с обратным подкреплением является типично человеческим видом деятельности. Оно настолько распространено, что мы поступаем так неосознанно. Когда вы видите, что ваш сотрудник идет к торговому автомату с чипсами, шоколадками и прочим и покупает пакет несоленых орехов, вы делаете следующие выводы: ваш сотрудник (а) голоден и (б) предпочитает здоровую пищу. Когда какой-то знакомый явно вас замечает, но пытается уклониться от встречи, вы сознаете, что по какой-то причине он не хочет с вами разговаривать. Когда взрослые тратят много времени и денег на обучение игре на виолончели, вы заключаете, что им по-настоящему нравится классическая музыка, тогда как выяснение мотивов подростка, который учится играть на электрогитаре, может оказаться более сложной задачей.

Изучение обучения с обратным подкреплением представляет собой статистическую задачу: мы располагаем некими данными – о поведении интеллектуального агента – и желаем оценить обоснованность различных гипотез о вознаграждениях, определяющих это поведение. Столкнувшись с такой ситуацией, статистик склоняется к применению генеративной модели данных: какие данные мы ожидаем получить, если мотивировать интеллектуального агента тем или иным набором вознаграждений? На основании генеративной модели статистик далее предпримет обратную реконструкцию: какие награды с наибольшей вероятностью побудят агента вести себя именно таким образом?

Когда мы пытаемся делать выводы о наградах, мотивирующих человеческое поведение, генеративная модель оказывается, по сути, теорией человеческого поведения, теорией функционирования человеческого разума. Догадки о скрытых мотивах поведения других людей отражают сложную модель человеческой природы, существующую в сознании каждого из нас. Если эта модель точна, мы делаем обоснованные выводы. Если она ошибочна, наши выводы далеки от реальности. Например, студент может решить, что профессору он безразличен, поскольку профессор не сразу реагирует на его электронные письма (ошибочный вывод объясняется тем, что студент просто-напросто не представляет, сколько таких писем получает этот профессор).

Автоматизированные интеллектуальные системы, умеющие делать правильные выводы о человеческих желаниях, должны опираться на надежные генеративные модели человеческого поведения, то есть на надежные модели человеческого познания, репрезентированные в формах, доступных для реализации на компьютере. Исторически поиск «вычислительных» моделей человеческого познания тесно переплетался с историей разработки искусственного интеллекта. Спустя всего несколько лет после публикации работы Норберта Винера «Человеческое применение человеческих существ» появилась машина «Логик-теоретик», первая вычислительная модель человеческого познания и первая практическая система искусственного интеллекта, созданная Гербертом Саймоном из Технического университета Карнеги и Алленом Ньюэллом из корпорации «РЭНД». Эта машина автоматически приводила математические доказательства, эмулируя стратегии математиков-людей.

Задача разработки вычислительных моделей человеческого познания сегодня упирается в создание моделей, одновременно точных и универсальных. Точная модель, разумеется, предсказывает поведение человека с минимумом ошибок. Универсальная модель способна давать прогнозы в широком диапазоне обстоятельств, в том числе с учетом обстоятельств, которые не предвидели ее создатели; например, надежная модель климата нашей планеты должна уметь предсказывать последствия глобального повышения температуры, даже если об этом не подумали специалисты, которые ее разрабатывали. Однако, когда доходит до постижения человеческого разума, две указанные цели – точность и универсальность – издавна противоречат друг другу.

Пределом универсализации могут выступать рациональные теории познания. Эти теории описывают поведение человека как рациональные реакции на конкретные вызовы. Рациональный субъект стремится максимизировать ожидаемое вознаграждение, получаемое в результате последовательности действий; данная идея приобрела широкую популярность в экономике – именно потому, что она позволяет обобщенно предсказывать поведение человека. По той же причине рациональность является стандартным допущением в моделях обучения с обратным подкреплением, которые пытаются делать выводы на основании поведения человека (возможно, допуская, что люди не рациональны в полном смысле слова, что порой они случайным образом совершают некие действия, не соответствующие или даже противоречащие их интересам).

Проблема рациональности как основы для моделирования человеческого познания заключается в том, что рациональность лишена точности. В области принятия решений имеется немало исследований (во главе списка стоят работы когнитивных психологов Дэниела Канемана и Амоса Тверски), в которых они описывают способы, с помощью которых люди уклоняются от предписаний, навязанных им рациональными моделями. Канеман и Тверски предположили, что во многих ситуациях люди следуют простой эвристике, которая позволяет находить удачные решения при малых когнитивных затратах, но иногда провоцирует ошибки. Возьмем один из рассмотренных ими примеров: если попросить кого-нибудь оценить вероятность некоего события, этот человек может положиться на свою память, для которой не составляет труда породить нужный случай, либо прикинет, нет ли какой-то причинно-следственной связи, иллюстрирующей такое событие, либо задумается над тем, насколько конкретное событие совпадает с его ожиданиями. Каждая эвристика представляет собой разумную стратегию, позволяющую избежать сложных вероятностных вычислений, но чревата ошибками. Скажем, легкость порождения событий по памяти для оценки вероятности приводит к тому, что мы завышаем вероятность таких экстремальных (и, следовательно, чрезвычайно запоминающихся) событий, как террористические атаки.

Эвристика обеспечивает более точную модель человеческого познания, но ее трудно обобщить. Как мы узнаем, какие эвристики люди могут использовать в конкретной ситуации? Нет ли тут какой-то другой эвристики, которую они используют, но которую мы не сумели обнаружить? Точное представление о поведении людей в новой ситуации сформировать непросто; ведь как узнать, будут ли они опираться на образцы, порождаемые по памяти, придумывать причинно-следственные связи или искать сходства?

В конечном счете нам нужно описывать работу человеческого разума способом, который обладает универсальностью рациональных моделей и точностью эвристики. Для достижения этой цели можно начать с рациональности и изучить перспективы углубления ее реалистичности. Но проблема опоры на рациональность для описания поведения любого реального агента состоит в том, что во многих ситуациях для расчета рациональных действий требуется, чтобы агент обладал огромным количеством вычислительных ресурсов. Быть может, использование такого объема ресурсов будет обоснованным в случае, когда принимается чрезвычайно важное и взвешенное решение и когда имеется достаточно времени для перебора и оценки вариантов; но большинство человеческих решений принимается быстро и без особых раздумий. В любой ситуации, когда важно время, которое тратится на принятие решения (по крайней мере, потому, что это время можно потратить на какое-то другое занятие), классическое представление о рациональности перестает восприниматься как рецепт правильного поведения.

Для разработки более реалистичной модели рационального поведения необходимо принять во внимание стоимость вычислений. Реальные агенты должны оценивать количество времени, потраченного на размышления, и учитывать последствия этих размышлений для итогового решения. Если вы выбираете зубную щетку, вряд ли разумно изучить все четыре тысячи зубных щеток на сайте Amazon.com перед совершением покупки: результат не оправдает временны́х затрат на поиск информации. Компромисс здесь возможно формализовать, что позволяет создать модель рационального поведения, которую исследователи искусственного интеллекта называют моделью с «ограниченной оптимальностью». Ограниченно оптимальный агент фокусируется не на том, чтобы всегда точно выбирать правильное действие, а на поиске правильного алгоритма, которому нужно следовать для нахождения идеального баланса между ошибками и чрезмерным тщанием.

Ограниченная оптимальность устраняет разрыв между рациональностью и эвристикой. Описывая поведение как результат рационального выбора объема времени на размышления, она предлагает нам универсальную теорию, которая может применяться к новым ситуациям. Иногда простые стратегии, воспринимаемые как эвристики, которым следуют люди, оказываются решениями ограниченной оптимальности. Потому не стоит спешить и называть очередную эвристику иррациональной; почему бы не трактовать ее как рациональный ответ на ограничения вычислений?

Разработка модели ограниченной оптимальности как теории человеческого поведения продолжается; к этому причастны моя исследовательская группа и другие ученые. Если наши усилия увенчаются успехом, у нас появится важнейший элемент, необходимый для придания системам искусственного интеллекта большей интеллектуальности при интерпретации человеческих действий через модели поведения.

Принимать во внимание вычислительные ограничения, влияющие на человеческое познание, особенно важно при разработке автоматизированных систем, которые не подчиняются данным ограничениям. Вообразите сверхразумную систему искусственного интеллекта, которая пытается выяснить, что конкретно заботит людей. Думаю, лекарство от рака или доказательство гипотезы Римана вряд ли будут восприняты таким ИИ как наша первостепенная забота: если эти решения окажутся очевидными для сверхразумной системы, наверняка возникнет вопрос, почему мы сами с ними не справились; следовательно, в реальности эти проблемы нас мало беспокоят. Иначе, при условии, что решение найти несложно, мы бы давным-давно во всем разобрались. Значит, разумно допустить, что мы занимаемся наукой и математикой исключительно потому, что нам нравится заниматься наукой и математикой, а не потому, что нам важны результаты.

Любой, у кого есть маленькие дети, может оценить проблему интерпретации поведения агента с вычислительными ограничениями, отличными от его собственных. Родители малышей могут часами разгадывать истинные мотивы, стоящие за, казалось бы, необъяснимым поведением. Как отец и ученый, я обнаружил, что понять внезапное буйство моей двухлетней дочки проще, когда сообразил, что в ее возрасте уже сознаешь – у разных людей есть разные желания, но еще не усвоил, что другие люди не в состоянии узнать твои желания. Тогда стало понятным, почему моя дочка злилась, когда люди не делали того, чего ей (как она полагала, совершенно явно) хотелось. Осмысление поведения малышей требует создания когнитивных моделей их разума. Сверхразумные системы ИИ сталкиваются с той же проблемой, когда пытаются понять поведение человека.

Наверное, до по-настоящему сверхразумного ИИ еще далеко. В ближайшем будущем нужно сосредоточиться на разработке более совершенных моделей человеческого поведения; это будет крайне полезно для любой компании, зарабатывающей на анализе человеческого поведения, то есть, если уж на то пошло, практически для любой компании, которая ведет бизнес в интернете. В последние несколько лет появились новые коммерческие технологии распознавания изображений и текста – на основе разработки надежных моделей репрезентации зрения и языка. Следующим рубежом станут надежные модели поведения.

Конечно, понимание того, как работает человеческий разум, само по себе не позволит улучшить взаимодействие компьютеров с людьми. Компромисс между ошибками и чрезмерным тщанием, характеризующий человеческое познание, есть компромисс, с которым сталкивается любой реальный интеллектуальный агент. Люди суть поразительный пример систем, которые действуют разумно, несмотря на значительные вычислительные ограничения. Мы достаточно преуспели в разработке стратегий, которые позволяют успешно преодолевать проблемы, не прилагая излишних усилий. Если описать, как именно мы это делаем, компьютеры смогут трудиться умнее, а не усерднее.