Автомобили с совестью

По мере того, как автомобили начинают принимать за нас важные решения, подобные случаи порождают серьезные этические вопросы. Для безопасного вождения в человеческом мире автономные транспортные средства должны научиться думать как люди или хотя бы понимать, как думаем мы. Но как этому научиться и каким конкретным людям они должны подражать? Это сложные вопросы. Специалист по этике Патрик Лин из Калифорнийского политехнического государственного университета в Сан-Луис-Обиспо настаивает на том, что мы не можем позволить производителям делать все, что им вздумается.

Довольно часто этические проблемы, порожденные беспилотными автомобилями, сводятся к проблеме вагонетки – мысленному эксперименту, знакомому студентам-философам. Представьте себе, что вагонетка вышла из-под контроля, а впереди находятся пятеро ни о чем не подозревающих людей. Если ничего не сделать, то все они умрут. Либо же вы можете переключить стрелку. Тогда вагонетка поедет по другому пути, и умрет только один человек. Какое решение вы примите?

Вопрос из той же серии: стоит ли автономной машине уходить от столкновения с нерадивым пешеходом, который внезапно выбегает на проезжую часть, если это приведет к резкому перестроению в соседнюю полосу? Или же, допустим, машина остановилась на перекрестке, чтобы пропустить школьников. Она вдруг понимает, что приближающийся сзади грузовик не успевает затормозить. Должна ли машина отъехать в сторону, чтобы защитить пассажиров автомобиля, либо же ей стоит принять удар на себя и спасти детей?

Возможно, такие решения стоит программировать в машинах заранее. Но что именно мы должны делать в каждом конкретном случае?

Ответ на вопросы из серии «Что делать, если…» складывается из двух этапов. Для начала транспортное средство должно точно определить опасность, а затем принять решение о своих действиях. Первый этап зависит от эффективного сбора и обработки данных о местоположении и скорости других транспортных средств, пешеходов или прочих объектов.

Высоконравственные водители

Некоторые опасности очевидны (например, не скатиться в реку на обочине дороги). Конечно же, очевидно далеко не все. Рассмотрим единственную смерть, связанную с технологией беспилотников. Инцидент произошел в 2016 году, когда система автопилота Tesla не смогла обнаружить, что белое пятно впереди – это не часть весеннего неба, а борт трейлера. Человек мог тоже ошибиться. Но иногда проблемы у беспилотных автомобилей возникают в ситуациях, которые мы способны решить интуитивно. Вот, например, самый обычный случай для нас, но крайне трудный для беспилотных автомобилей: человек, идущий за припаркованным автобусом. Разум человека уже готовится к повторному появлению этого пешехода, поэтому может точно просчитать, где и когда это случится. Однако для беспилотного автомобиля данная ситуация чревата сверхбольшой экстраполяцией.

Даже если сенсорная система позволит автономному автомобилю идеально оценить окружающую среду, второй этап высокоморального вождения (сбор собранной информации, оценка относительных рисков и выполнение соответствующих действий) – это сплошная полоса препятствий.

На базовом уровне все сводится к установлению правил и приоритетов. Например, избегать любого контакта сначала с людьми, потом с животными, а потом – с объектами недвижимости. Но что произойдет, если перед машиной встанет выбор: наехать на вашу ногу или въехать в здание и нанести ущерб в миллионы долларов?

В какой-то мере проблемой подхода, основанного на правилах, является отсутствие этих самых правил. Здесь, как минимум, отсутствует единый набор правил, который сенсорная система, основанная сугубо на физическом восприятии, могла бы реализовать. С одной стороны, такая система не сможет вычислить социальные сигналы, на которые мы полагаемся при вождении. С другой стороны, информация, полученная с видеокамер и эхосигналов, весьма ограничена.

Обнаружить автобус – это одно. А вот обнаружить, что он полон школьников, – куда более серьезная проблема.

В принципе, технически такое возможно. Через вмешательство человека можно запрограммировать данные о количестве и возрасте пассажиров. Эти данные будут транслироваться окружающим транспортным средствам. Либо же сенсоры внутри автобуса будут автономно отслеживать вес транспортного средства, включая рассадку людей на отдельных местах. Но кто определяет ценность чьей-то жизни? И как устранить дискриминацию с предвзятостью при программировании автомобилей?

Фальсификация

Научить компьютеры распознаванию других автомобилей на удивление сложно. Хотя такие компании, как Google и Uber, и обучают свои программы путем практического вождения на миллионы миль в условиях реального мира, они также пользуются и заранее отснятыми видеоизображениями дорожной обстановки. Но здесь есть подвох: для определения других машин компьютерам нужны сотни тысяч тщательно размеченных изображений, отмечающих начало и конец транспортных средств. Это отнимает у людей много времени и сил.

Но оказывается, что самоуправляемые автомобили могут изучить правила дорожного движения на примере виртуального трафика в видеоиграх по типу Grand Theft Auto V. Выбор автомобиля в игре – это идентичная задача из реального мира с преимуществом в виде размеченных элементов, созданных алгоритмом игры. Группа Мэтью Джонсона-Роберсона из Мичиганского университета в Анн-Арбор обнаружила, что обученные на базе игры алгоритмы ничуть не уступают программам, натренированным на реальных дорогах по части обнаружения машин в предварительно размеченном наборе данных. Для достижения такого же уровня в видеоиграх необходимо было добавить в 100 раз больше обучающих изображений. Но учитывая, что 500 000 изображений можно сгенерировать из игры за одну ночь, – никаких проблем не возникло.

Это не первый случай, когда исследовательская группа пользовалась видеоиграми для обучения искусственного интеллекта. Использование симуляций для тренировки ИИ стремительно набирает обороты. В другом примере команда Хавьера Ромеро из Института интеллектуальных систем Макса Планка в Тюбингене, Германия, пользовалась симуляциями людей для того, чтобы помочь компьютерам разобраться в поведении реальных людей.

По задумке исследователей, сгенерированные компьютером видео и изображения идущих, танцующих или делающих «колесо» людей позволят компьютерам понять, на что следует обращать внимание.

Исследователи создали тысячи видеороликов «синтетических людей» с реалистичными формами тела и движениями. Они ходят, бегают, приседают и танцуют. Они даже могут передвигаться самым неожиданным образом, но в них всегда можно распознать людей. А поскольку все видео генерируются компьютером, то каждый кадр автоматически маркируется важной информацией.

Это позволяет ИИ научиться распознаванию шаблонов в том, как пиксели меняются из кадра в кадр, указывая на дальнейшее движение человека. Обученный таким образом беспилотный автомобиль сможет предугадать намерение человека выйти на проезжую часть.

Занавес неведения

Один из способов избегать щекотливых вопросов – игнорировать их. В конце концов, водитель-человек тоже ничего не знает о тех, кто находится в окружающих его транспортных средствах. Принцип «занавеса неведения» сводится к созданию ответов на простые версии возможных сценариев путем предпрограммирования либо разрешения машине обучаться в процессе работы.

Первый подход осложняется тем, что никто не может предвидеть все возможные ситуации. Например, в 2014 году автомобиль Google столкнулся с женщиной в электрической инвалидной коляске, которая прогоняла утку с дороги с помощью метлы. Второй подход кажется более перспективным. Скажем, по мере своего движения автомобиль узнает, что нерадивые пешеходы чаще выбегают на городские, а не проселочные дороги, но зато предотвращение наезда на пешехода на тихой проселочной дороге снижает вероятность столкновения с кем-то другим. Или что иногда можно нарушить скоростной режим, чтобы пропустить машину скорой помощи. Тем не менее все основные правила необходимо программировать в системе заранее. И здесь возникают совершенно новые этические проблемы: программист не может предсказать, как именно должна поступить машина в конкретной ситуации. Мы не хотим, чтобы автономные транспортные средства действовали непредсказуемо. Важно, чтобы не только автомобили могли предугадывать действия других участников движения, но и люди знали, чего ожидать от поведения машины. Отсюда вытекает вопрос: как поступит автономная машина, когда столкнется с проблемой вагонетки?

Некоторые люди уверены, что не стоит зацикливаться на крайностях. Вероятность появления подобной ситуации – одна на миллион. Быть может, разумнее будет научиться решать более распространенные проблемы. Например, как избегать наездов на пешеходов, как оставаться в пределах полосы, как безопасно ездить при плохих погодных условиях, как обновлять программное обеспечение автомобилей, защищая их от атак хакеров. Возможно, они правы. Но тогда теряется так называемый мыслительный эксперимент. Те, кто прибегает к мыслительному эксперименту, хотят наглядно доказать тот факт, что автопроизводители не имеют морального права в одиночку принимать все решения по своим машинам.

В настоящий момент такие компании, как Tesla и Google, недавно объявившие об отказе от создания собственных автомобилей в пользу поставки программного обеспечения другим производителям, работают над своими алгоритмами в закрытом режиме, невзирая на все более громкие призывы к прозрачности и общим стандартам. В 2016 году команда Министерства транспорта США выпустила первый документ, регламентирующий федеральную политику в отношении автоматизированных транспортных средств. В одном из 15 пунктов, которыми должны руководствоваться разработчики автономных транспортных средств, фигурирует этика принятия решений и призыв к прозрачности своей работы для «предотвращения конфликтных ситуаций». Документ также призывает компании консультироваться и предлагать решения с «широкой допустимостью».

Аналогичные призывы прозвучали в Великобритании и Германии. «Нельзя ждать, что автономные транспортные средства будут принимать этические решения, для которых общество не дало четких и согласованных инструкций», – такое мнение в 2017 году выразил в официальном документе, составленном юридической фирмой Gowling WLG, Тим Армитидж из отраслевого консорциума UK Autodrive.

– Идеальных решений не существует, – предупреждает Ник Бостром, философ из Оксфордского университета и директор Института будущего человечества. – Мы должны признать, что под колесами этих автомобилей будут погибать люди. И наша задача состоит не в том, чтобы создать идеальную систему, а в том, чтобы создать такую систему, которая окажется лучше той, что у нас есть. Ведь около 50 миллионов людей в год погибают или получают травмы на дорогах.

Правила уличного движения

Можете называть их тремя законами беспилотников. В 2016 году министр транспорта Германии Александр Добриндт предложил законопроект о создании первой правовой базы для автономных транспортных средств. Она должна была регулировать схемы действий беспилотных машин при столкновениях с возможными летальными исходами. Законы пытаются решить проблему «мертвой зоны» автономных машин – неясной градации между полуавтономными и беспилотными автомобилями, которая может отсрочить будущее беспилотников.

Добриндт хочет добиться трех вещей: чтобы автомобиль всегда выбирал материальный ущерб вместо физического урона; чтобы автомобиль никогда не разграничивал людей по ряду признаков, включая возраст и расу; чтобы автопроизводитель нес ответственность за возникновение аварий в случаях, когда человек убирает руки с руля (например, для проверки электронной почты). «Корректировка закона о дорожном движении разрешит использование полностью автоматизированного вождения», – говорит Добриндт. Министр намерен полноценно приравнять автономные автомобили к водителям-людям.

Отсутствие ясности о зонах ответственности сторон при эксплуатации автономных машин вызывает замешательство автопроизводителей, потребителей и юристов. В Соединенных Штатах основные принципы для компаний, тестирующих беспилотные автомобили, гласят, что человек должен постоянно следить за дорогой. Это же условие с 2016 года фигурирует в британских страховках для беспилотников, в которых говорится о том, что человек «должен быть предельно внимателен и следить за дорожной обстановкой» в любой момент. Логично, что при разговорах о беспилотных автомобилях на ум приходят совершенно иные определения.

– Когда вы говорите «беспилотные автомобили», люди действительно ожидают увидеть автомобили без водителей, – рассказывает Наташа Мерат из Лидского университета в Великобритании. – Вы понимаете: водителя там нет.

Добриндт и другие придерживаются правила десяти секунд, которое требует от человека быть достаточно внимательным, чтобы суметь взять на себя управление транспортным средством за десять секунд. Точно так же Mercedes может потребовать от водителя касаться руля несколько раз в минуту.

Но десяти секунд бывает недостаточно. То, что вы положили руки на руль, не говорит о том, что вы управляете автомобилем. Мерат обнаружила, что людям нужно около 40 секунд для восстановления концентрации внимания, в зависимости от того, чем они занимались в данный момент. Мерат полагает, что из-за отсутствия ясности некоторые автопроизводители будут ждать полной автоматизации автомобилей без вмешательства человека.

По словам Райана Кало из Стэнфордского университета в Калифорнии, в итоге беспилотные автомобили могут стать разновидностью общественного транспорта (как беспилотные модули, которые в настоящее время запущены в некоторых городах), а не личным автомобилем. Но в США из этого ничего хорошего не выйдет. «Идея того, что правительство перейдет на беспилотные автомобили и станет относиться к ним как к общественному благу, ни к чему не приведет», – подытоживает Кало.