12 декабря 2016 года участник форума Tesla Motors Club под ником jmdavis в теме, посвященной электромобилям, описал свой опыт передвижения по Флориде. Он ехал на работу по шоссе со скоростью примерно 96 км/ч. На приборной панели загорелся индикатор движущейся впереди машины, которую не было видно за грузовиком. Внезапно сработало экстренное торможение, хотя грузовик не замедлил ход. Спустя секунду он вильнул вбок, объезжая резко остановившуюся перед внезапным препятствием машину. Tesla приняла решение тормозить раньше грузовика и сохранила безопасную дистанцию. Вот описание этой ситуации.

Tesla только что разослала на свои автомобили обновление, с помощью которого автопилот сможет использовать информацию с радара и четко представить обстановку впереди машины. Функция Tesla сработала в беспилотном режиме, но легко вообразить, как машина берет управление на себя в случае угрозы аварии. Автопроизводители США заключили соглашение с Министерством транспорта о разработке стандарта систем автоматического экстренного торможения к 2022 году.

Граница между ИИ и автоматическим управлением, как правило, размыта. Автоматическое управление начинается, когда машина берет на себя выполнение задачи, а не только прогноз. Сегодня человеку приходится периодически вмешиваться в процесс управления автомобилем. Когда же он будет полностью автоматизирован?

В своем нынешнем воплощении ИИ машина выполняет одну функцию – прогностическую. Остальные функции дополняют ее, и их ценность возрастает с удешевлением прогнозов. На целесообразность полностью автоматического управления влияет относительная отдача от выполнения машинами других функций.

Люди и машины могут накапливать разные типы данных: входные, обучающие и обратной связи. Суждение полностью возложено на человека, но он способен закодировать суждение и внести его в программу до составления машиной прогноза. Или машина может научиться прогнозировать человеческое суждение на данных обратной связи, что заставляет нас действовать. В каких случаях суждения о действиях следует поручить машинам вместо людей? Или, точнее, когда тот факт, что прогнозированием занимается машина, повышает отдачу от совершения действия машиной, а не человеком? Следует определить отдачу от выполнения машинами других функций (сбор данных, суждение, действия), чтобы решить, должно быть или будет ли выполнение задачи полностью автоматизированным.

Провинциальный австралийский регион Пилбара богат железной рудой. Большинство шахт находятся более чем в полутора тысячах километров от ближайшего крупного города – Перта. Шахтеров, чьи смены длятся неделями, доставляют на работу самолетами, поэтому у них высокая зарплата и в их условия труда вложены немалые средства. Естественно, что компании стараются извлечь из работников максимальную пользу.

Крупные железорудные шахты горнопромышленного гиганта Rio Tinto обладают огромной капиталоемкостью, и не только с финансовой точки зрения, но и по своему размеру. Руду добывают из земли в таких объемах, что остаются ямы, превосходящие размерами метеоритные кратеры. Основная задача заключается в транспортировке на тысячи километров на север, в порт, руды на грузовиках размером с двухэтажный дом, и не только из выработки, но и до ближайшей железной дороги. Следовательно, дороже всего компании обходятся не люди, а простой.

Разумеется, компании пытались оптимизировать работу с помощью ночной транспортировки. Однако даже привычные к ночным сменам люди в это время суток не так работоспособны, как днем. Изначально Rio Tinto решала некоторые проблемы перераспределения человеческих ресурсов, используя грузовики, которые можно было контролировать из Перта удаленно. Но в 2016 году компания сделала шаг вперед и внедрила 75 автономно функционирующих беспилотных грузовиков: такая автоматизация уже сэкономила компании 15 % производственных издержек. Грузовики обслуживают шахты круглосуточно, без перерывов на остановки и без кондиционеров – дневная температура порой поднимается до +50°C. И наконец, без водителя не имеет значения, ехать грузовику вперед или назад, то есть ему не приходится разворачиваться, что дает дополнительную экономию во всем, что касается безопасности, пространства, техобслуживания и скорости.

Это стало возможным благодаря способности ИИ прогнозировать трудности на пути грузовиков и маршрут к рудникам. Для обеспечения безопасности уже не нужно контролировать грузовики на месте и даже удаленно, а чем меньше людей рядом, тем ниже риск производственных травм. И это не предел – канадские горнодобывающие компании рассматривают возможность применения роботов на основе ИИ для раскопок, а австралийские собираются автоматизировать всю цепочку от земли до порта (в том числе землеройные машины, бульдозеры и поезда).

В сфере добычи полезных ископаемых образовалась идеальная возможность полной автоматизации именно потому, что от многих действий люди уже отстранены – за ними сохранились только важные функции управления. До недавнего прогресса в ИИ все (за исключением прогнозов) уже можно было автоматизировать. Прогностические машины становятся завершающим этапом отстранения людей от многих задач.

Ранее человек оценивал обстановку и давал машине точные указания, как действовать. Теперь же ИИ считывает информацию с датчиков и учится прогнозировать препятствия для разработки маршрута. Поскольку прогностическая машина способна прогнозировать свободную дорогу, горнодобывающим компаниям люди для этого больше не нужны.

Если последней человеческой функцией в выполнении задачи станет прогноз, то, как только прогностические машины научатся выполнять его так же качественно, как и люди, человека из этого уравнения вычеркнут. Однако, как мы вскоре убедимся, очень немногие задачи так же четко определены, как в описанном примере. В большинстве автоматически принимаемых решений наличие машинного прогноза не всегда означает, что устранить человеческое суждение и заменить его машинными решениями или использовать для выполнения действий робота вместо человека выгодно.

Беспилотные автомобили, такие как Tesla, появились благодаря прогностическим машинам. Но использовать их для создания автоматической версии человека с целью замены его машинным контролем над транспортным средством – совсем другое дело. Логика ясна: между моментом прогноза аварии и требуемым действием человек не успеет ничего осмыслить и предпринять («думать нет времени»), а реакцию машины запрограммировать достаточно легко. Когда необходимо действовать быстро, выгода от передачи контроля машине высока.

При работе с прогностической машиной прогноз требуется сообщить тому, кто принимает решение. Но если прогноз непосредственно приводит к очевидным действиям («думать нет необходимости»), потребность в человеческом суждении в данном цикле отпадает. Если машину относительно несложно запрограммировать на суждение и осуществление последующих действий, то целесообразно возложить на нее задачу полностью.

Это привело к разнообразным инновациям. На Олимпийских играх 2016 года в Рио новая автоматическая камера снимала пловцов под водой, отслеживая их действия и передвигаясь одновременно с ними по дну бассейна.

Раньше камерой управлял оператор, но ему приходилось предполагать расположение спортсменов в воде, а сейчас это делает за него прогностическая машина. И плавание было только началом. Современные исследователи работают над автоматизацией камеры для более сложных видов спорта, таких как баскетбол. И опять же потребность в скорости и возможность закодировать суждение способствуют переходу к полной автоматизации.

Что общего у предотвращения несчастных случаев и автоматических камер для спортивной съемки? В обоих случаях за прогнозом мгновенно следует действие, а суждение поддается кодированию или предсказуемо. Автоматизация целесообразна, когда отдача от возложения всех функций на машину выше отдачи от включения в процесс человека.

Автоматизация также имеет смысл при высоких издержках коммуникации. Возьмем космические исследования. Робота гораздо проще отправить в космос, чем человека, и сегодня несколько компаний изыскивают способы добычи полезных ископаемых на Луне, но им предстоит преодолеть множество технических преград. Нас интересует, как роботы будут ориентироваться и действовать на Луне: чтобы радиосигнал достиг планеты и вернулся обратно, требуется как минимум две секунды, поэтому управление роботом с Земли – медленный и трудоемкий процесс. В этом случае он не сможет реагировать на новые обстоятельства немедленно. Если, двигаясь по лунной поверхности, робот внезапно приблизится к обрыву, любые задержки в коммуникации могут стать фатальными. Решение проблемы – в прогностических машинах. При условии качественных прогнозов деятельность робота на Луне возможно автоматизировать, и людям не придется контролировать каждый его шаг с Земли. Без ИИ подобные коммерческие проекты вряд ли воплотятся в жизнь.

В научно-фантастических сюжетах полная автоматизация обычно приводит к проблемам. Даже если всех нас абсолютно устраивает полная автономия машин, закон может этого не позволить. Знаменитый писатель-фантаст Айзек Азимов предвидел вопрос нормативно-правового регулирования и придумал три закона робототехники, остроумно исключающих возможность нанесения вреда человеку.

Аналогично современные философы излагают многочисленные, на первый взгляд, отвлеченные этические дилеммы. Рассмотрим задачу с вагонеткой: предположим, вы стоите у переключателя, переводящего стрелку с одних рельсов на другие. На рельсах, по которым едет вагонетка, стоят пять человек. Можно переключить стрелку, но на других рельсах стоит один человек. Нет ни других вариантов, ни времени на размышления. Как вы поступите? Большинство людей этот вопрос ставит в тупик, и, как правило, никому вообще не хочется на него отвечать. Однако с беспилотными автомобилями такая ситуация вероятна. Кому-то придется разрешить дилемму и запрограммировать соответствующее действие. Проблема неизбежна. Кто-то – скорее всего, представители закона – будет определять, кто останется жив, а кто погибнет.

Пока мы предпочитаем сохранять в цикле человека, а не кодировать этический выбор в программу. Вообразите, например, полностью автономное беспилотное оружие, которое самостоятельно идентифицирует объект, наводит на цель и убивает. Даже если генерал армии найдет прогностическую машину, умеющую отличать мирных граждан от военных, сколько времени понадобится последним, чтобы научиться сбивать ее с толку? Требуемый уровень точности в ближайшем будущем, вероятно, невозможен, поэтому в 2012 году Министерство обороны США выдвинуло директиву, которую большинство расценивает как требование сохранить человека в цикле принятия решений об атаке. Пока неясно, нужно ли будет соблюдать данное требование всегда, но необходимость вмешательства человека по какой бы то ни было причине ограничит автономность прогностических машин в случаях, когда они могли бы действовать самостоятельно. Даже ПО автопилота Tesla, несмотря на способность управлять автомобилем, сопровождается юридическим требованием водителю постоянно держать руки на руле.

С экономической точки зрения целесообразность отсутствия в данном цикле человека зависит от степени потенциального вреда. К примеру, управление беспилотным транспортным средством в отдаленной шахте или на производстве очень отличается от такового на автомобильных дорогах. Обстановку «на производстве» и «на дороге» разделяет наличие так называемых экономистами экстерналий – издержек, больше ощутимых для окружающих, чем для лица, принимающего решения.

Экономисты разработали ряд решений для проблемы экстерналий. Одно из них – возложение ответственности на ключевое лицо, принимающее решение, чтобы оно присвоило себе внешние издержки. Например, налог на вредные выбросы в атмосферу выполняет эту роль в контексте присвоения экстерналий, связанных с изменением климата. Но в отношении автономных машин трудно определить ответственную сторону. Чем выше потенциальная угроза от машины для людей, не входящих в организацию (и, разумеется, риск физического ущерба для сотрудников), тем вероятнее, что с точки зрения закона и здравого смысла разумнее сохранить человека в цикле.

Вопрос: что оранжевое и рифмуется со словом «коровка»?

Ответ: морковка.

Смешная шутка? Вот еще одна. Маленькая девочка спрашивает отца: «Папочка, все сказки всегда начинаются со слов “Жили-были”?» Он отвечает: «Нет, есть еще много сказок, начинающихся со слов: “Если за меня проголосуют, я обещаю…”»

Ладно, признаем, что остряки из экономистов получаются так себе, но все равно лучше машин. Вот что обнаружили исследователь Майк Йоманс и его коллеги: если люди думают, что пошутила машина, шутка кажется им не такой смешной, как если бы она прозвучала из уст человека. По данным исследователей, машина лучше умеет придумывать шутки, но люди предпочитают выслушивать остроты от себе подобных. Даже если шутка принадлежала машине, люди высказывали большее одобрение, если им говорили, что ее придумал человек.

То же касается художественных и спортивных достижений. Впечатление от искусства, как правило, основано на знании зрителя о жизненном опыте автора. Интерес к спортивным состязаниям отчасти вызван противоборством между людьми. Даже если бы машина могла бежать быстрее человека, исход забега не вызывал бы таких эмоций, как мы привыкли.

Игра с детьми, забота о стариках и другие виды деятельности, подразумевающие социальное взаимодействие, тоже по определению приятнее, если их совершают люди.

Пусть даже машине известно, что рассказать с образовательной целью ребенку, иногда лучше возложить эту обязанность на человека. И пусть со временем мы свыкнемся с тем, что роботы заботятся о нас и наших детях, и научимся получать удовольствие от просмотра спортивных соревнований с их участием, пока для нас предпочтительнее, чтобы некоторые действия предпринимали люди.

Решения, в которых человек оптимально подходит для выполнения действия, не будут полностью автоматизированы. В других случаях ключевым ограничением автоматизации становятся прогнозы. Когда их качество станет достаточно высоким, а суждение об отдаче возможно будет задать предварительно – в коде, написанном человеком, либо в результате обучения машины в ходе наблюдений за людьми, – тогда решения будут автоматизированы.

• Привлечение ИИ к выполнению задач не всегда подразумевает полную автоматизацию, прогноз – лишь один из компонентов. В большинстве случаев применение суждения и совершение действия возлагаются на человека. Однако иногда суждение возможно встроить в код или, при наличии достаточного количества примеров, научить машину прогнозировать его. Кроме того, машины способны совершать действия. Когда все элементы задачи выполняет машина, то задача полностью автоматизирована и человек из цикла устранен.

• Вероятнее всего, полностью автоматизированным станет выполнение задач, в которых это обеспечит максимальный доход. В первую очередь это задачи, в которых:

• остальные элементы, за исключением прогноза, уже автоматизированы (горнодобывающая промышленность);

• отдача от скорости выполнения действий после прогноза высока (беспилотные автомобили);

• отдача от сокращения времени ожидания прогноза высока (освоение космоса).

• Важное отличие между автономным транспортом, функционирующим на городских улицах, и тем, что используется в горном промысле, заключается в том, что первый, в отличие от второго, создает существенные экстерналии. На улице города автономный транспорт может стать причиной аварии, в результате чего понесут издержки люди, не имеющие отношения к принятию решения. И наоборот, несчастные случаи, виновниками которых выступают автономные транспортные средства, обслуживающие горный промысел, налагают издержки только на ресурсы или людей. Государство регулирует действия, создающие экстерналии, следовательно, урегулирование становится потенциальной преградой к полной автоматизации средств, создающих существенные экстерналии. Эта проблема решается присвоением внешних издержек посредством распространенного экономического метода – возложения ответственности. Мы предполагаем активную волну развития нормативно-правовой базы в отношении возложения ответственности как следствие растущего спроса на автоматизацию в новых сферах.