Во время написания этой книги появился наиболее продвинутый образец ИИ, помогающий решать часто встречающиеся проблемы: глобальная система определения местонахождения – GPS. GPS-устройства получили популярность в 1990-х гг. и в начале 2000-х, но повсеместно они распространились после 2007 г., когда в продажу поступили смартфоны со встроенной GPS. При поездке на автомобиле эта на удивление маленькая система разработает для вас оптимальный маршрут, выведет его на экран, в зависимости от текущей дорожной ситуации скорректирует свои рекомендации, сообщит, пропустили вы нужный поворот или нет, и даже поговорит с вами. Возможности и эффективность GPS-систем настолько поразительны, что у большинства водителей полностью изменилась манера вождения автомобиля. Во многом они изменили и взаимоотношения между людьми, чаще всего – к лучшему: например, семейная пара уже не сможет затеять ссору из-за того, нужно или не нужно остановиться и спросить дорогу.

Теперь давайте зададимся вопросом, чего не делают эти замечательные устройства. Начнем с того, что они не смогут рассчитать более длинный маршрут в случае, если вы предпочли бы приехать к родителям немного попозже. Они не подберут вам маршрут, пролегающий вдоль озера, где этим вечером должен быть особенно красивый закат. Они не скажут, что сегодня дорожные условия очень плохие и лучше остаться дома. Вернее, все это они могли бы делать, но тогда эти функции нужно заложить в программу. Они не могут прочитать ваши мысли и узнать ваши намерения (ваши цели и желания, ваши представления о том, каким образом их лучше реализовать), а затем преобразовать эти намерения в свои собственные и выдать новые предложения. Они не способны разделять ваши намерения, чтобы вместе с вами добиваться реализации совместных целей.

У нас нет общей позиции с машиной, то есть отсутствует взаимное соглашение между устройством и пользователем о том, что мы знаем и что мы делаем (за исключением самых простых случаев). Машина может спросить, является ли вашей целью А, В или С, и среагировать в соответствии с вашим ответом. Но она не может преследовать общую с вами цель в том смысле, чтобы, например, в последнюю секунду взять на себя инициативу и переключиться на достижение новой цели. Можно сказать, что у вас с машиной негласный контракт, в соответствии с которым она обязуется выполнять то, на что она способна, чтобы помочь вам достичь ВАШЕЙ цели. Но вы должны быть уверены, что достаточно внятно объяснили ей, какова ваша цель. Машина не сотрудник, она – инструмент. В этом смысле ИИ больше похож на микроволновую печь, чем на еще одно человеческое существо. Технология может быть важнейшим элементом сообщества носителей знаний, она предоставляет информацию и служит полезным инструментом, но она не является членом сообщества в том смысле, в каком ими являются люди. Мы не сотрудничаем с машинами так же, как не сотрудничаем с овцами, мы просто их используем.

Способность к постановке общей цели – критически важный элемент для характеристики интеллекта. Основные человеческие функции, такие как язык и формирование понятий, связаны со способностью к выдвижению общих целей, ибо, как показано выше, то и другое реализуется только в процессе совместной деятельности. Мы подозреваем, что запрограммировать компьютер таким образом, чтобы у него был общий с вами замысел, будет трудно. В такую программу придется заложить способность компьютера координировать свои действия с другими (а значит, он должен будет иметь представление о том, что знаете вы и что знают другие), а также осмысливать собственные и чужие когнитивные процессы. Никто не знает, как написать программу, чтобы научить компьютер «осознавать» полученную информацию. И, если кому-нибудь удастся создать такую программу, возможно, мы наконец поймем, что такое сознание. Пока что мы этого не понимаем.

Сейчас мы наблюдаем непростой период развития технологии. Почти все, что мы делаем, становится возможным благодаря умным машинам. Машины достаточно умны, чтобы мы могли на них полагаться как на центральный элемент сообщества носителей знаний. Однако ни один механизм не обладает уникальной способностью, столь важной для любой человеческой деятельности: он не готов к целенаправленному сотрудничеству. Это в значительной мере определяет основные контуры совместной работы человека и машины.

Одной из важнейших функций современных систем «человек – машина» является сохранение наших жизней, и устройства выполняют эту функцию очень хорошо (конечно, в тех случаях, когда они не предназначены специально для убийства). Люди уже не претендуют на то, чтобы самостоятельно, без помощи компьютеров, управлять самолетами, автомобилями и промышленными установками. Нас окружает множество сложных технических устройств, которые делают то, для чего они предназначены. Даже при вождении автомобиля водитель сейчас в меньшей степени управляет машиной, чем раньше. В современном автомобиле имеется порядка пятидесяти микропроцессоров (107). Некоторые из них предназначены для обеспечения комфорта и развлечений, например спутниковое радио. Другие помогают водителю управлять машиной: для обеспечения оптимального усилия в рулевом приводе с гидроусилителем на различных скоростях движения используется компьютер; он же задействован и в антиблокировочной тормозной системе, предотвращающей занос машины. При этом революция, имя которой «автоматизация», только начинается. Полностью автоматизированный автомобиль можно встретить уже не только в научно-фантастических романах. В конце 2015 г. Илон Маск, генеральный директор компании Tesla Motors, заявил (108), что примерно через два года такая машина станет реальностью, хотя государственным чиновникам для разработки правовых норм допуска беспилотных автомобилей на дороги, скорее всего, потребуется больше времени.

Что касается крупных транспортных средств, технология здесь уже изменила правила игры. Без помощи автоматики современный лайнер просто не полетит. Для управления полетом новейшими военными реактивными самолетами используются компьютерные комплексы, потому что они настолько неустойчивы, что требуют применения автоматизированной системы, которая во много раз быстрее, чем человек, обнаруживает отклонения и реагирует на них. Вместе с тем наша зависимость от умных технологий создает определенный парадокс: по мере ее развития техника становится все более надежной и эффективной, и именно поэтому человек все больше зависит от нее. В итоге концентрация внимания у человека-оператора ослабляется, он отвлекается, самоустраняется, перекладывает всю работу на технику. В самом крайнем случае эта тенденция может привести к тому, что пилотирование тяжелого воздушного корабля превратится в пассивное занятие, подобное просмотру телевизора. Это замечательно – пока не случается нечто непредвиденное. Именно в непредвиденных ситуациях выявляется вся ценность человека с его способностью гибко реагировать на обстоятельства и справляться с незнакомыми ситуациями. Машины не способны на сотрудничество во имя достижения общей цели, они служат всего лишь инструментами. И если человек-оператор перестает осуществлять контроль, то велика вероятность того, что в системе возникнет серьезная авария.

Парадокс автоматизации заключается в том, что сама эффективность автоматизированных систем безопасности порождает зависимость от них, и в силу этой зависимости вклад человека-оператора в работу системы уменьшается, что, в свою очередь, повышает уровень опасности. Современные технологии чрезвычайно сложны, и они усложняются все больше и больше. Автоматизированные системы безопасности непрерывно совершенствуются. По мере их усложнения, дублирования и включения дополнительных функций сфера использования этих систем расширяется. Но в случае их отказа масштабы катастрофы могут быть намного больше. Ирония судьбы заключается в том, что автоматизированные системы на самолетах, поездах и промышленном оборудовании могут снижать общий уровень безопасности (109). Поскольку технология не способна понять, что собирается выполнить система (потому что она не осознает и не разделяет намерений человека), всегда существует опасность, что что-то пойдет не так. Если человек как часть системы не подготовлен к действиям в условиях отказа технологии, может случиться беда.

Ниже мы опишем один реальный случай. Сваливание самолета в штопор происходит, если его скорость движения относительно воздуха слишком мала и не обеспечивает достаточную подъемную силу для удержания воздушного судна в полете. В случае сваливания в штопор самолет фактически падает. Чтобы выйти из штопора, нужно направить нос самолета вниз и увеличить тягу двигателей для достижения скорости, которая обеспечит достаточную подъемную силу, чтобы самолет прекратил падение. Выход из штопора – один из основных технических навыков, которыми будущие летчики овладевают в летной школе. В 2009 г. в океан упал аэробус компании Air France, выполнявший рейс 447; погибли 228 человек. После расшифровки записей черного ящика члены комиссии, расследовавшей причины катастрофы, пришли в шоковое состояние. Оказалось, что Airbus A330 начал сваливаться и падать. По непонятной причине второй пилот вместо того, чтобы опустить нос корабля, попытался поднять его. Как это могло случиться? В докладе, подготовленном в 2013 г. по поручению Федеральной администрации гражданской авиации США, говорится о том, что пилоты слишком понадеялись на автоматику, что у них не было необходимых навыков ручного пилотирования и они не смогли принять правильное решение в нештатной ситуации. Вполне возможно, что у членов экипажа даже не возникала мысль, что такой самолет может свалиться в штопор, и они неправильно оценили предупреждающие сигналы, посылаемые оборудованием. Это прекрасный пример проявления парадокса автоматизации. Оборудование самолета было настолько значимым, что, когда оно вышло из строя, пилоты как команда не поняли, что нужно делать (110).

Поскольку GPS-устройства сейчас распространены очень широко, наверное, и вы уже сталкивались с парадоксом автоматизации. Некоторые люди полностью доверяют этим устройствам и выполняют все их рекомендации, забывая при этом, что GPS-устройства не понимают, что вам нужно, а просто следуют заложенным в них программам. Известно много случаев, когда водитель въезжал в водоем или летел с обрыва, потому что слишком доверял своему GPS-навигатору (111).

В 1995 г. круизный лайнер Royal Majesty плыл мимо острова Нантакет, находящегося у побережья штата Массачусетс (112). От сильного порыва ветра нарушился контакт кабеля, соединявшего GPS-устройство корабля с его антенной. К несчастью, экипаж не понял, что случилось. GPS-устройство выдавало сообщение об ошибке (с GPS-экрана раздавался легкий «щебет»), но никто не обратил на него внимания. При отсутствии спутниковых данных GPS-система через небольшой промежуток времени перешла в предусмотренный для такого случая режим работы, а именно переключилась на навигационное счисление (определение местонахождения на основании предыдущего положения, оценочной скорости, азимута и времени движения). Подача импульсного сигнала при этом прекратилась. Никто не заметил, что на экране появились акронимы, информирующие об обоих изменениях (DR – навигационное счисление и SOL – отсутствие входного сигнала; следует признать, что SOL, часть слова solution – решение, все-таки весьма неудачная аббревиатура для выражения, обозначающего «расчет точного определения местонахождения невозможен»). Навигационное счисление – это только обоснованная прикидка, поскольку оно не учитывает влияния ветра и течений. Автопилот судна руководствовался поступающими данными, которые, будучи правдоподобными, становились все менее точными. Экипаж отслеживал положение судна по радиолокационной карте, но на ней высвечивался маршрут, проложенный на основании неточной информации от GPS, так что эта карта не показывала истинное местонахождение судна. Кроме того, экипаж не проверил работу GPS по второму надежному источнику – навигационной системе, которая осуществляет триангуляцию радиосигналов с берега. Окончательно решило судьбу корабля еще одно несчастливое совпадение: буй, предназначенный для оповещения об опасных водах вблизи острова Нантакет, находился примерно в том месте, в котором GPS-система ожидала обнаружить буй, указывающий вход в гавань Бостона. Радар обнаружил его, но экипаж продолжал считать, что все идет как надо. Никто не заподозрил неладное, пока не заметили, что цвет воды океана изменился так, что стало понятно: судно вышло на мелководье. Но было уже поздно. Лайнер водоизмещением 32 000 тонн сел на мель в 16 км от острова Нантакет.

К счастью, в итоге ничего страшного не случилось. Через сутки после аварии пять буксиров сняли Royal Majesty с мели. Благодаря корпусу с двойным дном судно осталось на плаву и доставило пассажиров в Бостон, но, чтобы оно смогло снова выйти в море, пришлось выложить 2 миллиона долларов на ремонт.

Чему нас может научить этот случай, едва не завершившийся трагедией? Машины делали то, что им положено было делать. Все дублирующие системы функционировали как надо. Да, машины не представляли операторам подробную информацию о происходящем, но ведь нельзя требовать от машин слишком многого. Они не способны понять, что именно необходимо знать человеку и что тот собирается делать. Как было показано выше, именно это ограничивает возможности машин. Они не более чем инструменты, а не верные сотрудники, преследующие общую с вами цель.

Единственную настоящую ошибку на судне совершили ответственные люди, доверившиеся GPS-системе. Отчасти их можно понять – до этого случая машины всегда были эталоном точности. Офицеров ввела в заблуждение иллюзия знания. Они считали, что понимают информацию, поступающую от машин, но в действительности не оценили важность появившихся на экране не очень заметных символов (тех самых DR и SOL), потому что просто не знали, как работает их GPS-устройство. Они не знали, что означают эти символы, не знали, что они сообщают о расчете лишь приблизительного местонахождения судна и предупреждают о ситуации, грозящей катастрофой. Поскольку экипаж не знал о своем заблуждении, двойной контроль не осуществлялся. За многие годы успешных плаваний у людей выработалось глубокое чувство уверенности в себе, маскирующее сформировавшуюся у них иллюзию знания.

Одним из навыков, формирующихся параллельно с появлением самосознания, является способность размышлять над тем, что происходит. Люди всегда могут наблюдать и оценивать собственное поведение. Они способны абстрагироваться и давать себе отчет в том, что они делают и что происходит непосредственно вокруг них. Более того, люди могут отслеживать и некоторые собственные мыслительные процессы (сознательную составляющую психической деятельности). Если им не нравится то, что они видят, принимаются меры, чтобы изменить ситуацию. Понятно, что эти меры носят ограниченный характер. Скользя вниз по сплошному льду, вы мало что сможете сделать, чтобы остановиться, если у вас нет ледоруба. Если вы охвачены ужасом или страстью, вам очень трудно контролировать эти чувства, но, по крайней мере, у нас есть способность понимать, что происходит (в состоянии бодрствования и ясности сознания). В той степени, в которой мы способны контролировать свои действия (обычно мы ведь не позволяем себе поддаться неудержимому соблазну схватить лежащий перед нами большой кусок шоколадного торта), мы можем и изменять их. В противоположность этому машина всегда подчиняется заложенной в нее программе. Алгоритм может быть очень сложным, в него можно заложить даже умение адаптироваться к изменениям в окружающем пространстве. Однако если разработчики программы не учли какую-то ситуацию, то и машина не будет знать, что делать в случае возникновения таких обстоятельств, и может поступить, с нашей точки зрения, совершенно неправильно. Поэтому критически важной ролью человека является осуществление контроля за работой автоматизированных систем, то есть оператор просто должен находиться на месте при появлении признаков серьезной неполадки. В настоящее время большую проблему представляет невозможность обеспечить одному человеку доступ ко всей информации, необходимой для понимания и управления сложной современной системой. Они же между тем усложняются с нарастающей скоростью. Именно это должно вызывать тревогу.