Глава 13
Ввести человека в уравнение ИИ

Исследования уроженки Румынии Анки Драган сосредоточены на алгоритмах, которые позволят роботам взаимодействовать с людьми на благо последних. Она руководит лабораторией «Inter ACTL» в Беркли, и там ее студенты изучают различные области роботизации (помощь больным и нетрудоспособным, производство, беспилотные автомобили), опираясь на современные достижения в оптимальном управлении, планировании, машинном обучение и когнитивных науках. Хотя ей чуть больше тридцати, она уже успела опубликовать ряд научных статей в соавторстве с ветераном исследований ИИ и своим наставником Стюартом Расселом; в этих статьях рассматриваются различные аспекты машинного обучения и сложные проблемы выравнивания ценностей.

Она разделяет озабоченность Рассела безопасностью ИИ. «Непосредственный риск представляют собой агенты, демонстрирующие нежелательное и неожиданное поведение, – сказала Анка интервьюеру из Института будущего жизни. – Даже если мы планируем использовать ИИ на благие цели, все может пойти не так именно потому, что мы плохо справляемся с постановкой целей и заданием ограничений для агентов ИИ. Их решения зачастую не соответствуют нашим ожиданиям».

Поэтому Драган считает необходимым помогать роботам и программистам преодолевать множество затруднений, возникающих вследствие непонимания намерений друг друга. Роботы, говорит она, должны задавать нам вопросы. Они должны задумываться о собственном предназначении и должны назойливо расспрашивать программистов-людей на этот счет во избежание последствий, которые она сама эвфемистически именует «неожиданными побочными эффектами».

В основе искусственного интеллекта лежит наше математическое определение того, что такое агент ИИ (робот). Когда мы описываем робота, то перечисляем состояния, действия и награды. Подумайте, например, о роботе-курьере. Его состояния суть места нахождения в пространстве, а действия суть движения, которые робот совершает, чтобы добраться из одного места в другое. Чтобы робот мог решать, какие действия предпринять, мы предусматриваем функцию вознаграждения, то есть сопоставляем состояния и действия с системой оценок, отражающих, насколько хорошо выполнено действие в конкретном состоянии, – и позволяем роботу выбирать те действия, которые сулят наибольшее «вознаграждение». Робот получает максимум, когда достигает пункта назначения, а несколько баллов вычитают за сам процесс перемещения из точки в точку; функция вознаграждения стимулирует робота добираться до места назначения как можно быстрее. Аналогичным образом беспилотный автомобиль будет вознагражден за движение по маршруту и лишится нескольких баллов за опасное сближение с другими автомобилями.

С учетом сказанного отметим, что задача робота состоит в выяснении того, какие действия ему надлежит предпринять, чтобы получить наибольшее вознаграждение. В разработке ИИ мы старательно прививаем роботам такую способность. Причем неявно предполагается, что, если мы добьемся успеха – если роботы сумеют однажды приступить к принятию решений и превратить это осознание в действия, – мы получим роботов, полезных отдельным людям и обществу в целом.

Здесь как будто все более или менее логично. Если требуется ИИ, способный разделять клетки на раковые и доброкачественные, или робот, который пылесосит ковер в гостиной, пока хозяин дома отсутствует, эти задачи выглядят вполне осуществимыми. Некоторые проблемы действительно возможно выделить и описать, четко указать для них состояния, действия и вознаграждения. Но расширение возможностей ИИ ведет к тому, что возникает желание передоверить ему задачи, которые не вписываются в эту структуру. На определенном этапе становится невозможно «отрезать» крошечный кусочек реального мира, положить его, так сказать, на блюдечко и вручить роботу. Помощь людям все чаще подразумевает работу в реальном мире, где приходится взаимодействовать с реальными людьми и осмыслять их поведение. То есть «людей» так или иначе необходимо вставить в уравнения, которыми оперирует ИИ.

Беспилотные автомобили уже стали явью. Им придется делить дороги с транспортными средствами, которыми управляют люди, и пешеходами и научиться находить компромисс между стремлением доставить пассажира к месту назначения как можно быстрее и вниманием к поведению других водителей. Личным помощникам предстоит научиться пониманию того, когда и в каком объеме действительно нужна помощь, какие типы задач мы предпочитаем выполнять самостоятельно, а какие готовы уступить. СППР (система поддержки принятия решений) и медицинская диагностическая система должны объяснять нам свои рекомендации, причем так, чтобы мы поняли и могли их проверить. Автоматизированным преподавателям придется определять, какие примеры будут информативными или наглядными – не для их коллег-машин, а для нас, людей.

Заглядывая в будущее, вот что мы видим: если нам хочется, чтобы высокопроизводительные ИИ были совместимы с людьми, нельзя разрабатывать их изолированно от людей, а затем пытаться внедрить в общество; скорее, следует исходно проектировать ИИ, «совместимый с человеком». Людей нужно учитывать изначально.

В случае реальных роботов, помогающих реальным людям, типовое определение ИИ оказывается неудовлетворительным сразу по двум важным причинам. Во-первых, изолированная оптимизация роботической функции вознаграждения отличается от оптимизации в условиях взаимодействия с людьми, поскольку люди сами взаимодействуют между собой. Мы принимаем решения для удовлетворения собственных интересов, и эти решения диктуют нам, какие действия предпринимать. Вдобавок мы осмысливаем поведение роботов, то есть реагируем на то, что, как нам кажется, они делают или намерены сделать, и оцениваем их возможности. Какие бы действия робот ни совершал, они должны сочетаться с нашими собственными. Перед нами проблема координации.

Во-вторых, именно человек в конечном счете определяет, какой должна быть функция вознаграждения робота. Награда призвана мотивировать робота к поведению, которое соответствует желаниям конечного пользователя, проектировщика машины или общества в целом. На мой взгляд, дееспособным роботам, действия которых будут выходить за рамки узко поставленных задач, придется это понять, чтобы прийти к совместимости с людьми. Перед нами проблема выравнивания значений.

Разрабатывая роботов для решения конкретных задач, легко поддаться искушению и начать воспринимать людей как абстракции. Например, личному роботизированному помощнику надо знать, как двигаться, чтобы брать нужные предметы, и мы описываем эту задачу изолированно от людей, для которых робот будет подбирать предметы. Но мы не хотим, чтобы робот в процессе движения сталкивался с обстановкой и людьми, поэтому можно включить физическое местонахождение человека в определение состояния робота. То же самое верно для автомобилей: мы не хотим, чтобы они сталкивались с другими автомобилями, поэтому наделяем их способностью отслеживать положение других автомобилей и предполагаем, что они будут последовательно двигаться в одном направлении. В этом смысле человек для робота ничем не отличается, скажем, от шара, катящегося по плоской поверхности. Шар в следующие несколько секунд будет вести себя точно так же, как и в предыдущие несколько секунд; он продолжает катиться в том же направлении приблизительно с той же скоростью. Это, конечно, ни в коей мере не похоже на реальное человеческое поведение, но подобные упрощения позволяют многим роботам успешно решать поставленные перед ними задачи и по большей части не мешать людям. Тот же домашний робот, к примеру, может заметить, что вы идете по коридору, отъехать в сторону, пропуская вас, и возобновить уборку после вашего ухода.

Однако по мере повышения дееспособности роботов умения всего-навсего воспринимать людей как постоянно движущиеся препятствия становится недостаточно. Ведь перестроения водителя-человека из ряда в ряд на дороге не подразумевают последовательного движения в том же направлении, пусть он и продолжит двигаться прямо после перестроения. Когда тянешься к чему-то, нередко натыкаешься на другие предметы и перебираешь их, пока не отыщешь нужный. Когда идешь по коридору, то движешься к пункту назначения: можно повернуть направо, в спальню, или налево, в гостиную. Предположение, будто мы ничем не отличаемся от катящегося шара, провоцирует неэффективную реакцию: робот отодвигается, когда в этом нет необходимости, и может подвергнуть себя опасности, когда поведение человека меняется. Даже чтобы вовремя отодвигаться, роботам нужна известная точность в предвидении человеческих действий. В отличие от катящегося шара, люди совершают действия в зависимости от принимаемых решений. Значит, чтобы предвидеть действия человека, роботы должны вникнуть в суть процесса принятия человеческих решений. Не следует исходить из допущения, что человеческое поведение всегда сугубо оптимально; этого может быть достаточно для робота, играющего в шахматы или в го, но в реальном мире решения людей предсказуемы намного меньше, чем оптимальный ход в настольной игре.

Потребность в понимании действий и решений человека является одинаково насущной для материальных и нематериальных роботов. Если тот или другой исходят в своих решениях о способах действия из допущения, что человек будет делать одно, а сам человек делает что-то иное, такое разногласие во мнениях может закончиться катастрофически. Применительно к автомобилям это может быть авария. А применительно к ИИ, ведущему, скажем, финансовую или экономическую деятельность, несоответствие ожиданий и реальных поступков может иметь еще более худшие последствия.

Как вариант, робот может не пытаться предугадывать наши действия; он будет лишь стремиться к предотвращению наихудших последствий человеческих действий. Зачастую это приводит к тому, что роботы перестают приносить максимальную пользу. Например, беспилотный автомобиль просто замирает на месте, ибо каждое движение чревато чрезмерным риском.

В итоге сообщество исследователей ИИ оказывается в тупике. Предполагается, что роботам необходимы точные (по крайней мере, разумно точные) прогностические модели человеческого поведения. Описание состояний не сводится к простой фиксации физического местоположения людей. Нужно также учитывать «внутренние» особенности. Нужно проектировать роботов, которые в состоянии оценивать такие «внутренние» состояния, что довольно затруднительно. К счастью, люди склонны давать роботам подсказки о своих «внутренних» состояниях: их текущие действия позволяют роботам предсказывать (по методу байесовского вывода) дальнейшие намерения. Если мы движемся по правой стороне коридора, то, вероятно, свернем в комнату справа.

Ситуация осложняется тем обстоятельством, что люди не принимают решений изолированно. Одно дело, научись роботы предсказывать действия конкретного индивида и сообрази, как поступать в ответ. К сожалению, такая практика способна породить «ультраосторожных» роботов, сбивающих людей с толка. (Вспомните, к слову, нерешительных водителей на нерегулируемых перекрестках.) Практика прогнозирования намерений не учитывает того факта, что в момент, когда робот совершает действие, он оказывает влияние на последующие действия человека.

Роботы и люди взаимно влияют друг на друга, и роботы должны научиться ориентироваться в этом пространстве влияний. Ведь далеко не всегда речь о роботе, взаимодействующем с людьми; речь и о людях, взаимодействующих с роботами. Важно, чтобы роботы помнили об этом, принимая решения относительно своих действий, будь то на дороге, на кухне или даже в виртуальном мире, где действиями могут выступать покупка товаров или внедрение новой идеи. Следовательно, роботам необходима координационная стратегия, которая позволит им принимать участие в переговорах, ведущихся людьми беспрепятственно изо дня в день – кто первым проедет перекресток, кого пропустят вперед у двери, кто чем занимается, когда совместно готовят завтрак и т. д., вплоть до определения следующих шагов в развитии какого-то проекта.

Наконец, точно так же, как роботам нужно предвидеть дальнейшие поступки людей, людям придется учиться предугадывать действия роботов. Вот почему важна прозрачность отношений. Необходимы надежные ментальные модели человеческого и роботического поведения. Модель робота, присутствующая у человека, должна входить в наши описания состояний, а робот должен понимать, как его действия изменят эту модель. Подобно тому как робот рассматривает человеческие действия как ключи к «внутренним» состояниям человека, люди изменяют свои представления о роботах, наблюдая за действиями последних. К сожалению, роботам несвойственно полагаться на подсказки в той же мере, в какой к этому склонны люди; ведь у нас в избытке практики неявного общения с другими людьми. Но если роботы научатся учитывать изменения вследствие своих действий в ментальной модели человека, это может способствовать более тщательному осмыслению действий, содержащих правильные подсказки – то есть таких, которые прямо сообщают людям о намерениях робота, его функциях вознаграждения и ограничениях. Например, робот может изменить направление движения при перемещении тяжестей, чтобы показать, как ему непросто маневрировать при работе с тяжелыми предметами. Чем больше люди будут знать о роботах, тем проще станет координировать действия.

Для достижения совместимости от роботов потребуется умение предвидеть человеческие поступки и осознавать, как эти поступки повлияют на их собственные действия, а людям придется научиться предугадывать действия роботов. Текущие исследования в этой области достигли определенного прогресса, но нам еще предстоит сделать очень и очень многое.

Проблема выравнивания ценностей: люди контролируют функции вознаграждения роботов.

Стремление к наделению роботов способностью оптимизировать вознаграждение подразумевает упорный труд проектировщиков для определения правильной награды за такую оптимизацию. Первоначально предполагалось, что для любой задачи, выполнения которой мы ждем от робота, достаточно прописать функцию вознаграждения, стимулирующую нужное его поведение. К сожалению, часто бывает так, что мы задаем некую функцию вознаграждения, а поведение робота в результате оптимизации не соответствует нашим ожиданиям. «Интуитивные» функции вознаграждения в сочетании с необычными вариантами задач могут привести к контринтуитивному поведению. Вы награждаете агента-участника скачек некоторым количеством очков, а он обнаруживает лазейку, которую использует для получения бесконечного количества очков без фактической победы в состязании. Стюарт Рассел и Питер Норвиг приводят прекрасный пример в книге «Искусственный интеллект: современный подход»: если поощрять робота-уборщика за количество собранной пыли, то робот может решить вывалить собранную пыль обратно, чтобы всосать ее снова и получить большее вознаграждение.

В целом людям, как известно испокон веков, крайне сложно сообразить, чего именно они хотят, и как раз об этом говорят многочисленные предания о джиннах. Парадигма ИИ, в контексте которой роботы удостаиваются определенной награды извне, не оправдывает себя, когда такая награда не до конца продумана. Она способна подтолкнуть робота к неправильному поведению и даже к противодействию нашим попыткам исправить его поведение, поскольку они чреваты уменьшением вознаграждения.

Казалось бы, лучшей парадигмой для роботов будет оптимизация согласно нашим истинным желаниям, пусть даже нам непросто четко сформулировать эти желания. Роботы могли бы опираться на наши слова и поступки в качестве индикаторов и доказательств желаний, а не интерпретировать их буквально и действовать соответственно. Когда мы прописываем функцию вознаграждения, робот должен понимать, что мы можем ошибаться, что мы могли не учесть все аспекты задачи и никто не гарантирует, что данная функция вознаграждения всегда будет приводить к желаемому поведению. Робот должен интегрировать наши условия в свое понимание того, чего нам действительно хочется, но при этом должен общаться с нами ради уточнения информации. Он должен стремиться к наставлениям и руководству с нашей стороны, поскольку это единственный способ оптимизировать по-настоящему заслуженное вознаграждение.

Даже если наделить роботов способностью изучать наши истинные желания, остается нерешенным важный вопрос, на который сообщество ИИ пока не может ответить. Мы в состоянии принудить роботов к попыткам соответствовать внутренним ценностям человека, но ведь речь идет не о конкретном человеке. Да, у робота есть конечный пользователь (или даже несколько пользователей, скажем, когда это личный робот какой-то семьи, беспилотный автомобиль, везущий нескольких пассажиров по разным направлениям, или офисный помощник для команды инженеров); кроме того, есть проектировщик (а то и не один); еще он взаимодействует с обществом – тот же беспилотный автомобиль делит дорогу с пешеходами, транспортными средствами под управлением людей и другими беспилотными автомобилями. Как объединить ценности всех этих людей, когда возникает конфликт интересов, – вот проблема, которую нам обязательно предстоит решить. Исследования в области ИИ могут дать нам инструменты для объединения ценностей (любым способом, который покажется эффективным), но они не примут за нас необходимое решение.

Если коротко, мы должны позволить роботам осмыслять людей – воспринимать нас не только как препятствия или образец игрока в какой-то игре. Нужно, чтобы они учитывали нашу человеческую природу, чтобы они координировали и согласовали свои действия с нашими. Если мы добьемся здесь успеха, у нас действительно появятся инструменты, способные существенно улучшить качество нашей жизни.