Так должна ли ваша машина сбить пешехода, чтобы спасти вас?

Давайте ненадолго остановимся на обсуждении второго вопроса. Ибо осенью 2016 года, на Парижском автосалоне, в укромном уголке переполненного посетителями выставочного зала, пресс-секретарь Mercedes-Benz сделал довольно-таки незаурядное заявление. Журналисты спросили директора по разработке систем помощи водителю и активной безопасности Кристофа фон Гуго, как беспилотный “мерседес” поведет себя при угрозе катастрофы. “Если вы видите, что хотя бы одного человека можно спасти, надо его спасать”, – ответил он.

Логично, подумаете вы. Тоже мне, открытие.

Только вот Гуго спрашивали не о дорожно-транспортных происшествиях вообще. Интервьюер хотел выяснить его отношение к хорошо известному мысленному эксперименту из шестидесятых годов, где рассматривался один особенный случай. Вопрос касался интересной дилеммы – выбора меньшего из двух зол. Это так называемая “проблема вагонетки” – в первоначальном условии задачи речь шла о неуправляемом рельсовом транспорте. Применительно к автономному автомобилю можно представить себе следующую ситуацию.

Предположим, прошло сколько-то лет, и вы, пассажир машины с автономным управлением, едете по городской улице в отличном настроении. Загорается красный сигнал светофора, однако из-за какой-то неполадки ваша машина не может затормозить. Столкновения не избежать, и перед автомобилем встает выбор – что делать? Резко свернуть в сторону бетонной стены и почти наверняка угробить тех, кто сидит внутри? Или спасать их жизни и ехать прямо, но задавить людей на пешеходном переходе? На какие действия должна быть запрограммирована машина? Как по-вашему, кто должен погибнуть?

Конечно, у вас есть свое мнение. Может быть, вы полагаете, что автомобиль должен постараться спасти как можно больше жизней. А может, вы считаете, что заповедь “не убий” важнее любой арифметики, и пусть за все расплачивается тот, кто сидит в машине.

Фон Гуго четко выразил позицию своей компании: “Спасать того, кто находится в автомобиле. – И добавил: – Если вы ни в чем не уверены, кроме того, что одну смерть можно предотвратить, это должно стать вашей приоритетной целью”.

Это интервью вызвало бурю негодования в интернете, кредо Mercedes подвергли жесткой критике. “Их машины будут вести себя так же, как типичный высокомерный водитель люксового европейского автомобиля”, – писал автор одной статьи. Действительно, летом того же года журнал Science опубликовал обзор, где 76 % респондентов ответили, что, по их мнению, было бы правильнее, чтобы машина с автономным управлением спасла как можно больше людей, то есть подвергла бы смертельной опасности своих пассажиров. Mercedes занял позицию, противоположную общественному мнению.

Но так ли это? Ведь когда участников того же исследования спросили, готовы ли они купить автомобиль, который при определенных обстоятельствах их убьет, они почему-то не захотели пожертвовать собой ради высшего блага.

Мнения об этой дилемме разделились, и не только по вопросу о том, какой ответ считать правильным. Обозреватели в научно-технической сфере, да и другие журналисты обожают этот мысленный эксперимент, но, когда я говорила со специалистами по беспилотным автомобилям, все они при упоминании о задачке с вагонеткой лишь закатывали глаза. Что касается меня, я очень ее люблю. Ее лаконичность наводит нас на важные мысли о машинах-беспилотниках, вынуждает задуматься о нашем отношении к тому, что жизненно важные для нас и других людей решения будет принимать алгоритм. В сущности, и эта новая технология, и почти все прочие алгоритмы ставят вопросы о власти, ожидаемом эффекте, об управлении и о делегировании ответственности. О том, можем ли мы рассчитывать на то, что новые технологии гармонично впишутся в нашу жизнь и не будут нам противодействовать. Но мне понятно также, почему разработчики машин с автономным управлением скептически относятся к таким разговорам. Они лучше всех знают, что в реальности нам еще очень нескоро придется всерьез озаботиться проблемой вагонетки.

Нарушение правил дорожного движения

С тех пор как состоялись первые гонки беспилотников, теорема Байеса и могучая сила теории вероятности дали толчок множеству инноваций в разработке автономного транспорта. Я спросила Пола Ньюмена, профессора из Оксфорда, специалиста по робототехнике и основателя компании Oxbotica, которая конструирует и тестирует на улицах английских городов машины-беспилотники, как устроены его последние модели, и он сказал: “Это программа на миллионы, много миллионов строк, но я мог бы описать все это как вероятностный логический вывод. Все – целиком”.

Впрочем, хотя байесовский вывод отчасти объясняет принципиальную возможность создания машины-беспилотника, он же дает нам понять, какой же это крепкий орешек – полностью автономный автомобиль, которому совсем не нужен живой водитель.

Предположим, говорит Пол Ньюмен, “два автомобиля едут навстречу друг другу с высокой скоростью”. К примеру, по двухполосному шоссе, на плавном повороте, один в одну сторону, второй – в другую. Водитель – человек – будет абсолютно спокоен, ведь он уверен, что другая машина останется на своей полосе и проследует мимо на безопасном расстоянии в пару метров. “Но довольно долго кажется, что они сейчас врежутся друг в друга”, – объясняет Ньюмен. Как научить машину без водителя не паниковать в такой ситуации? Вам не нужно, чтобы – машина съехала на обочину, стараясь предотвратить аварию, которой и так не произойдет. Но точно так же вы не хотите, чтобы она никак не реагировала на угрозу, когда вы действительно окажетесь на волосок от лобового удара. Не забудьте еще, что такие машины могут лишь строить более или менее обоснованные предположения о том, как им следует действовать. Как добиться того, чтобы их догадки всегда были верны? Это, говорит Ньюмен, “ужасно трудная задача”.

Специалисты давно бьются над ней, но решение существует. Надо придумать, как смоделировать поведение других, здравомыслящих водителей. Но, к сожалению, не в любой дорожной ситуации этот прием эффективен.

“Плохо со всеми теми аспектами вождения, которые вообще не связаны с вождением”, – поясняет Ньюмен. Надо как-то втолковать алгоритму, что следует проявить повышенную осторожность, если, к примеру, из фургона с мороженым доносится музыка или дети играют с мячом на тротуаре. Надо научить его распознавать странные прыжки кенгуру (пока я писала свою книгу, специалисты Volvo как раз сообщили, что работают над этим). Для сельских районов Англии это не очень актуально, но в Австралии машину без такого навыка опасно выпускать на дорогу.

Хуже того – как объяснить машине, что иногда необходимо нарушить правила? Допустим, вы стоите перед красным сигналом светофора, и вдруг перед вами выбегает человек и отчаянно машет вам, чтобы вы продвинулись вперед. Или по узкой улочке пробирается карета скорой помощи с мигалкой, и, чтобы ее пропустить, вы должны залезть на тротуар. Или на узком шоссе “сложился” бензовоз, и вам надо убраться оттуда любой ценой.

“В правилах дорожного движения ничего такого не прописано”, – справедливо отмечает Ньюмен. Однако автомобиль с полностью автономным управлением, рассчитанный на езду без какой бы то ни было помощи человека, должен уметь разруливать подобные ситуации. Даже аварийные.

Никто не говорит, что эти препятствия нельзя преодолеть. “Думаю, мы сумеем довести машину до любого желаемого уровня интеллекта, – сказал мне Ньюмен. – Это всего лишь вопрос времени”. Как ни грустно, не ближайшего времени, по-видимому. Вероятно, мы гораздо дальше от реализации заветной мечты о робомобиле, чем нам кажется.

Ибо для того, чтобы создать эту сказочную игрушку – самодостаточный, способный ездить по любым дорогам автомобиль без рулевого колеса, – придется пройти еще один уровень сложности, и речь вовсе не о технологии. Полностью автономный автомобиль будет иметь дело еще и с людскими причудами.

Джек Стилгоу, социолог из Университетского колледжа Лондона, который изучает влияние техники на общество, говорит: “Люди склонны нарушать правила. Они не пассивные фигуры в пейзаже, а деятельные участники жизни”.

Представим себе на минутку мир с абсолютно самостоятельными робомобилями. Правило номер один для их бортовых компьютеров – по возможности не допускать столкновений. Это меняет режим движения на дороге. Если вы встанете перед машиной без водителя, она должна остановиться. Если вы неожиданно выскочите перед ней на перекрестке, она должна воспринять это безропотно.

Как выразился в 2016 году один участник соцопроса в Лондонской школе экономики: “C ними надо построже. Они пусть стоят, а ты можешь спокойно идти прямо перед ними”. Перевожу: эти машины можно третировать.

Стилгоу согласен: “Те, кто до сих пор был относительно беззащитен на дороге – скажем, велосипедисты, – могут катить себе потихоньку перед машиной-беспилотником, будучи уверены, что та ни при каких условиях им не навредит”.

Может быть, эту неприятность удастся устранить, если ввести более строгие правила в отношении велосипедистов и пешеходов, злоупотребляющих своими преимуществами. Собственно, такие законы уже приняты – хотя бы в отношении тех, кто перебегает дорогу там, где не положено. Или если удалить с шоссе посторонних, как поступили с другими участниками дорожного движения после появления легковых автомобилей, – и теперь на автомагистрали нет ни велосипедов, ни лошадей с телегами и повозками, ни пешеходов.

Если нам нужны полноценные беспилотники, скорее всего, мы должны будем использовать прежний опыт и ограничить число агрессивных водителей, фургонов с мороженым, играющих на дорогах детей, предупреждающих знаков о дорожных работах, путающихся под колесами пешеходов, машин скорой помощи, велосипедистов, инвалидных электроскутеров и всего остального, что мешает движению автономного транспорта. Прекрасно, но не совсем то, что нам рекламируют.

“Во всех этих разглагольствованиях об автономности и транспорте предполагается, что мир не изменится, – говорит Стилгоу. – Все останется как есть, только роботы научатся ориентироваться в мире ничуть не хуже человека, а со временем даже лучше. По-моему, это просто глупость”.

Но погодите-ка, подумаете вы. Разве это уже не пройденный этап? Разве гугломобиль Waymo уже не накрутил миллионы миль? Разве беспилотники этой марки – или, по крайней мере, почти полностью беспилотные машины – уже не ездят по улицам Финикса в Аризоне?

Да, конечно. Но дороги не везде одинаковые. Большей частью они настолько просты для вождения, что можно проехать несколько миль в полусне. Есть и куда более трудные участки. На тот момент, когда я это пишу, автомобилям Waymo разрешен проезд далеко не везде, они “геозонированы”, то есть не должны покидать пределов отведенных им небольших районов. То же и с беспилотниками Daimler и Ford, которые производители обещают вывести на дороги к 2020 и 2021 году соответственно. Возить пассажиров им дозволено лишь в определенных зонах. Таким образом, проблема автономности существенно упрощается.

Вот как описывает гипотетическое будущее беспилотных автомобилей Пол Ньюмен: “Они будут ездить в хорошо изученных районах, так чтобы их владельцы были твердо уверены, что они справятся. Это возможно в городе, а не где угодно с непонятно какими дорогами и с коровами на шоссе. Может быть, в определенные часы и при определенных погодных условиях. Их будут использовать транспортные компании”.

Это не совсем то же самое, что полная автономия. Джек Стилгоу готов пойти на неизбежный компромисс: “В якобы автономных системах на самом деле мир ограничен таким образом, чтобы они выглядели автономными”.

Картина, в которую мы уверовали, похожа на мираж. Нам видится роскошное авто с личным водителем всегда к нашим услугам, а при ближайшем рассмотрении оказывается, что это всего лишь внутрирайонная маршрутка.

Если я вас еще не убедила, предоставлю право завершить дискуссию одному из самых авторитетных американских автомобильных журналов Car and Driver:

Никто из производителей машин не предполагает, что в ближайшем будущем и даже в ближайшие десятилетия улицы заполонят беспилотные автомобили и наступит чудесная жизнь без аварий. Но они хотят, чтобы на Уолл-стрит их воспринимали всерьез, и стараются разбудить воображение людей, неуклонно теряющих интерес к вождению. А пока суд да дело, надеются продать побольше машин, оснащенных новейшими системами помощи водителю.

Что там насчет систем помощи водителю? В конце концов, беспилотный автомобиль не означает выбора между всем и ничем.

В технологии автономного управления выделяют шесть уровней, от нулевого – никакой автономии – до фантастического пятого, то есть до полной автономии. Между ними помещаются машины от первого уровня с автоматическим регулированием скорости до четвертого с автономным управлением в условиях геозонирования; проще говоря, первый уровень – без ног, второй – без рук, третий – без глаз, четвертый – без головы.

Поэтому хотя пятый уровень еще даже не маячит на горизонте, а четвертый не совсем то, что нам так вдохновенно рекламируют, на пути к вершине можно достичь немалой степени автоматизации. Что плохого в том, чтобы потихоньку повышать уровень личных автомобилей? Можно ведь выпускать машины с рулем и педалью тормоза, в которых на водительском месте будет сидеть человек, способный взять управление на себя в чрезвычайной ситуации? Достаточно будет, пожалуй, пока технологии развиваются?

К сожалению, не все так просто. В сюжете этой истории остается еще один, последний, поворот. Целый спектр других проблем. Этот камень преткновения всегда будет на пути, если не достигнут уровень полностью автономного управления без участия человека.