Информационные технологии уже оказали большое положительное влияние на виртуальные сферы нашей деятельности: от науки до финансов, производства, транспорта, здравоохранения, энергетики и коммуникаций, и все это бледнеет по сравнению с тем, как все перечисленное может измениться благодаря искусственному интеллекту. Но чем больше мы доверяем технологиям, тем более надежными они должны стать, выполняя именно то, что мы хотим.

На протяжении всей человеческой истории в развитии технологий мы полагались на один и тот же проверенный метод, метод проб и ошибок, предполагающий нашу способность на совершаемых ошибках учиться. Мы научились пользоваться огнем, а потом, неоднократно погорев, изобрели огнетушитель, пожарный выход, пожарную сигнализацию и пожарную службу. Мы изобрели автомобиль, а потом, не раз побывав в автокатастрофах, изобрели ремни безопасности, подушки безопасности и беспилотные автомобили. До сих пор наши технологии относительно редко приводили к несчастным случаям, так что причиняемый ими вред перевешивался приносимыми ими выгодами. Однако разрабатываемые нами технологии становятся все мощнее и мощнее, и мы неизбежно достигнем такого момента, когда даже одна авария может оказаться достаточно разрушительной, чтобы перевесить все мыслимые выгоды. Некоторые в качестве примера такого события называют случайно спровоцированный глобальный атомный конфликт. Другие ссылаются на пандемию, которая может возникнуть в результате неудачного опыта с биотехнологией, и в следующей главе мы обратимся к спорам о том, сможет ли искусственный интеллект привести в будущем к чему-то подобному. Но рассматривать такие крайности нам в общем-то и не надо, чтобы сделать основной вывод: по мере того как наши технологии становятся все более и более мощными, мы все меньше и меньше можем полагаться на метод проб и ошибок в достижении технологической безопасности. Иными словами, наша задача – стать про-активными, а не реактивными, все больше ресурсов вкладывая в исследования вопросов безопасности, чтобы предотвращать даже единичные случайности. Вот почему общество тратит больше средств на исследования по безопасности ядерных реакторов, чем на исследования по безопасности мышеловок.

По той же самой причине, как мы видели в главе 1, к исследованиям по безопасности искусственного интеллекта был проявлен большой общественный интерес на конференции в Пуэрто-Рико. В оставшейся части этой главы я хочу познакомить вас с четырьмя направлениями в исследованиях технической безопасности искусственного интеллекта, которые доминируют сейчас в дискуссиях вокруг этого вопроса и которые характеризуются четырьмя ключевыми словами: проверка (верификация), валидация, надежность и контроль. Чтобы сделать рассказ несколько более живым и наглядным, давайте разберем некоторые прошлые удачи и провалы в различных информационных технологиях и посмотрим, какие уроки мы можем из них извлечь и какие исследовательские задачи на будущее они перед нами ставят.

Большинство этих историй уже довольно старые, и речь в них пойдет о тех компьютерных системах, которые сейчас никто не будет связывать с искусственным интеллектом, при этом ни в одной из этих историй никаких особых инцидентов не случилось, а если и случилось, то последствия их отнюдь не были тяжелыми. Несмотря на все это, мы можем извлечь из них ценные уроки для проектирования безопасных и мощных AI-систем будущего, сбои в работе которых могут оказаться действительно катастрофическими.

Начнем с того, что близко моему сердцу: c исследований космоса. Компьютерные технологии позволили нам летать на Луну и отправлять беспилотные космические корабли, чтобы исследовать все планеты нашей Солнечной системы и даже совершить посадку на спутник Сатурна Титан и на комету. Как мы увидим в главе 6, будущий AI может помочь нам исследовать другие звездные системы и галактики, если будет работать без глюков. 4 июня 1996 года ученые, надеявшиеся исследовать магнитосферу Земли, радостно сообщили, что ракета-носитель Европейского космического агентства “Ариан‐5” взмыла в небо с научными приборами, которые они построили. Спустя тридцать семь секунд их радость угасла, потому что ракета взорвалась, превратившись в гигантский фейерверк стоимостью в миллионы долларов. Причина, как выяснилось, заключалась в программном обеспечении, в котором случился “глюк”, когда оно стало пытаться оперировать с числом, не влезавшим в 16 отведенных под это бит памяти. Спустя два года космический аппарат NASA Mars Climate Orbiter случайно вошел в атмосферу “красной планеты”, и это привело к его гибели, а все из-за того, что два его программных модуля пользовались разными единицами для силы, в результате возникла ошибка в 445 % при расчете необходимой тяги двигателя. Это стало вторым супердорогим “глюком” в истории NASA: в первый раз их миссия “Mariner‐1” на Венеру завершилась взрывом сразу после запуска с мыса Канаверал 22 июля 1962 года, после того как контролирующее полет программное обеспечение прекратило работу из-за неправильного знака пунктуации. Как будто специально, чтобы доказать, что не только на Западе освоили искусство компьютерных “глюков” в космосе, советский проект “Фобос‐1” завершился неудачно 2 сентября 1988 года. Это был самый тяжелый из когда-либо запущенных межпланетный космический корабль; целью миссии было посадить станцию на поверхность Фобоса, спутника Марса, – и все это сорвалось, когда недостающий дефис в тексте программы был интерпретирован как команда “конец миссии”, которая и была отправлена на космический корабль, находившийся на пути к Марсу, отключив все его системы.

Урок, который мы можем извлечь из всех этих историй, – о важности того, что принято называть тестированием, или проверкой программного обеспечения, задача которого заключается в том, чтобы установленный “софт” полностью отвечал всем необходимым требованием. Чем больше жизней и ресурсов поставлено на карту, тем выше должна быть наша уверенность в том, что программное обеспечение будет работать как надо. К счастью, искусственный интеллект может помочь автоматизировать и улучшить процесс тестирования. Например, ядро универсальной операционной системы seL4 недавно было подвергнуто всесторонней математической проверке, чтобы дать надежную гарантию от обрушений системы и выполнения команд, угрожающих безопасности. И хотя у нее еще нет таких же бантиков, как у MS Windows или у MacOS, работая с ней, вы можете быть уверены, что не увидите ни “синего экрана смерти”, ни “радужного колеса судьбы”. Агентство перспективных исследований министерства обороны США (DARPA) профинансировало разработку серии высоконадежных программных средств для кибер-военных систем с открытым источником (HACMS), каждое из которых проверяемо надежно. Чтобы ввести такие средства в широкое обращение, надо сделать их достаточно мощными и простыми в использовании. Еще одна сложность заключается в том, что тестирование программного обеспечения должно будет проводиться при переносе его в роботов или какие-то другие новые среды, а само традиционное программное обеспечение будет заменяться системами с искусственным интеллектом, которые способны учиться, а следовательно, изменять свое поведение, как говорилось в главе 2.

Финансы – это еще одна область, которая была преобразована информационной технологией, позволяющей эффективно перераспределять ресурсы по всему миру со скоростью света и обеспечивать доступное финансирование для всего на свете – от ипотечных компаний до стартапов. Прогресс в развитии систем с искусственным интеллектом, вероятно, предоставит в будущем еще бóльшие возможности для получения прибылей в финансовых сделках: большинство решений о продаже/покупке акций на фондовых рынках сейчас принимаются компьютерами автоматически, и моих выпускников из MIT каждый год искушают астрономическими стартовыми окладами, предлагая поработать над улучшением продажных алгоритмов.

Тестирование исключительно важно и для финансового программного обеспечения, в чем американская фирма “Knight Capital” могла убедиться на своем горьком опыте 1 августа 2012 года, потеряв 440 миллионов долларов за 45 минут после установки непротестированного продажного “софта”. Знаменитый триллиондолларовый обвал 6 мая 2010 года, известный как “Черный вторник” или “Flash Crash”, заслуживает особого внимания по другой причине. Хотя в этот день на протяжении получаса шли массовые компьютерные сбои, во время которых цены на акции некоторых крупных компаний, вроде “Procter & Gamble”, колебались от пенни до 100 000 долларов США, проблема была вызвана не “глюками” в программах и не ошибками в работе компьютеров, которые можно было бы выявить с помощью тестирования. Причина заключалась в обманутых ожиданиях: автоматизированные продажные программы многих компаний должны были работать в непредвиденной ситуации, когда предпосылки их работы оказались неверны – например, неверной оказалась предпосылка о том, что, если фондовый компьютер сообщает цену акции в один цент, то это означает, что цена акции действительно один цент.

“Черный вторник” наглядно продемонстрировал важность того, что в информатике принято называть валидацией: если при тестировании задается вопрос: “Правильно ли построена система?”, то при валидации вопрос ставится так: “Правильная ли система построена?”. Например, не строилась ли система исходя из предпосылок, которые не всегда могут быть действительными? Если это так, то каким образом можно улучшить ситуацию с неопределенностью?

Нет необходимости говорить, что искусственный интеллект открывает большие возможности для улучшения производства, управляя роботами, использование которых повышает эффективность и точность. Неустанные в своем совершенствовании 3D-принтеры могут теперь создавать прототипы всего чего угодно, от офисных зданий до микромеханических устройств размером с крупицу соли. В то время как огромные промышленные роботы строят автомобили и самолеты, компактные и недорогие фрезерные станки с компьютерным управлением и другие подобные им устройства благодаря их доступности попадают не только на крупные заводы, но их могут себе позволить и тысячи частных энтузиастов, “мейкеров”, по всему миру, которые в своих маленьких коммунальных мастерских – “фаб-лабах” – материализуют свои идеи. Но чем больше роботов нас окружает, тем важнее, чтобы их программное обеспечение подвергалось всесторонней проверке – тестированию и валидации. Первым человеком, которого, как известно, убил робот, был Роберт Уильямс, рабочий на заводе “Форд” в городе Флэт-Рок штата Мичиган. В 1979 году вышел из строя робот, который должен был доставлять запчасти со склада, и Роберт Уильямс отправился за запчастями сам. Внезапно робот бесшумно заработал и разбил ему голову, и продолжал бить его об стену в течение 30 минут, пока другие рабочие не узнали о происшедшем. Следующая жертва робота – Кэндзи Урада, инженер-эксплуатационник с завода “Кавасаки” в японском городе Акаси. В 1981 году, занимаясь сломанным роботом, он случайно задел выключатель и был насмерть раздавлен гидравлической рукой робота. В 2015 году 22-летний подрядчик на одном из заводов “Фольксваген” в немецком Баунтале собирал робота, способного подбирать автомобильные запчасти и устанавливать их на место. Но что-то случилось, и робот схватил его самого и раздавил насмерть об металлическую плиту.

Хотя каждое подобное событие – трагедия, важно отметить, что они составляют ничтожно малую часть всех несчастных случаев на производстве. Более того, общее их число сократилось с развитием технологий, а не выросло: в США их количество составило 14 000 смертей в 1970 году и 4 821 в 2014 году. Все три вышеупомянутых трагедии показывают, что добавление интеллекта неразумным машинам должно способствовать дальнейшему росту промышленной безопасности, если научить роботов осторожнее вести себя по отношению к людям. Всех трех аварий можно было бы избежать, если бы была использована валидация: роботы причинили вред не из-за “глюков” и не по причине своей злобы, а просто потому, что предпосылки их работы оказались не валидны: что людей тут нет или что люди – это разновидность запчасти.

Обычные промышленные роботы дороги, а написание программ для них чрезвычайно трудоемко, и нынешний тренд – к отказу от них в пользу роботов с искусственным интеллектом: они могут учиться прямо у рабочих, не умеющих писать программы.

Сколько бы жизней ни спас искусственный интеллект на производстве, значительно больше людей он может спасти на транспорте. Одни только дорожно-транспортные происшествия в 2015 году унесли более 1 миллиона 200 тысяч человеческих жизней, а несчастные случаи, связанные с авиацией, железными дорогами и перевозками по воде добавили к ним еще тысячи жертв. В Соединенных Штатах, как ни высоки их стандарты, жертвами дорожно-транспортных происшествий в 2015 году стали более 35 000 человек – это в семь раз больше всех несчастных случаев на производстве вместе взятых. Когда в 2016 году у нас была об этом панельная дискуссия в Остине, штат Техас, на ежегодном совещании Ассоциации за развитие искусственного интеллекта, израильский ученый Моше Варди выступил по этому поводу исключительно эмоционально и заявил, что искусственный интеллект не только может сократить количество жертв на дорогах, но и должен это сделать: “Это наш моральный императив!” – заявил он. Поскольку почти все дорожные происшествия – следствие человеческой ошибки, широко распространено мнение, что автомобили-беспилотники смогут сократить смертность на дорогах как минимум на 90 %, и этот оптимизм сильно подогревает прогресс в фактическом выведении беспилотных автомобилей на дороги. Илон Маск уверен, что будущие беспилотные автомобили не только будут безопаснее, но и смогут зарабатывать деньги своим владельцам, конкурируя в свободное время с Убером и Лифтом.

До сих пор автомобили без водителя действительно показывали значительно более высокий уровень безопасности, чем автомобили с водителем-человеком, и несчастные случаи, которые иногда все-таки происходят, подчеркивают важность и сложность валидации. Первый “фендер-бендер” с участием автомобиля-беспилотника от Google случился 14 февраля 2016 года; причиной аварии стало неверное предположение относительно автобуса: что его водитель пропустит отпарковывающуюся перед ним машину. Первая гибель на дороге в результате столкновения беспилотной Tesla с прицепом грузовика, пересекавшего шоссе 7 мая 2016 года, была вызвана двумя неверными предположениями: что ярко-белая боковая сторона прицепа – это просто часть яркого неба и что водитель (который, как было впоследствии установлено, смотрел в это время фильм о Гарри Поттере) наблюдает за дорогой и сможет вмешаться, чтобы предотвратить аварию.

Но иногда и хорошее тестирование, и хорошая валидация недостаточны для того, чтобы избежать несчастных случаев, поскольку нам также нужен хороший контроль: возможность для оператора-человека следить за системой и при необходимости влиять на ее поведение. Для таких систем, включающих человека в контур управления, принципиально, чтобы общение человека с машиной было эффективным. Это означает, что горящий красный огонек на вашей приборной панели своевременно предупредит вас, если вы случайно оставите багажник вашей машины открытым. Но ничего такого не оказалось перед глазами капитана британского парома “Herald of Free Enterprise”, когда он покидал порт Зебрюгге 6 марта 1987 года с открытым носовым визором, и вскоре после этого паром затонул, а вместе с ним и 193 человека.

Еще один случай утраты контроля, закончившийся трагедией, хотя ее вполне можно было избежать путем улучшения коммуникации человека и машины, произошел в ночь на 1 июня 2009 года, когда самолет авиакомпании Air France, рейс 447, упал в Атлантический океан, а все 228 человек, находившиеся на борту, погибли. В официальном сообщении о трагедии говорится: “Экипаж самолета не понимал, что происходит сваливание, и, следовательно, так и не совершил восстановительный маневр”, который заключается в том, чтобы немного опустить нос самолета, – пока не стало слишком поздно. Специалисты по безопасности полетов утверждают, что катастрофы можно было бы избежать, если бы в кабине пилотов был индикатор угла атаки, который показал бы им, что нос самолета слишком задран.

Когда 20 января 1992 года самолет авиакомпании Air Inter, рейс 148, разбился, врезавшись в гору Вогезского горного массива недалеко от Страсбурга, во Франции, погубив 87 человек, причиной этого несчастного случая стало не отсутствие достаточной коммуникации человека и машины, но сбивающий пользователя с толку интерфейс. Пилоты ввели на клавиатуре число “33”, предполагая начать снижение под углом в 3,3 градуса, но автопилот интерпретировал команду как 3 300 футов в минуту, потому что он был в это время не в том режиме, а экран был слишком мал, чтобы позволить пилотам увидеть это и понять ошибку.

В деле производства и распределения электроэнергии благодаря информационным технологиям произошли настоящие чудеса: сложные алгоритмы позволяют поддерживать производство и потребление энергии в электрических сетях по всему миру в равновесии, и сложные системы управления удерживают электростанции в состоянии максимальной эффективности и безопасности. Грядущий прогресс искусственного интеллекта может сделать эту “умную” сеть еще умнее, оптимально скоординировав изменения спроса и предложения на всех уровнях, вплоть до солнечной батареи на одной отдельной крыше и домашней аккумуляторной батареи. Но в четверг, 14 августа 2003 года, без электричества остались 55 миллионов человек в Соединенных Штатах и Канаде, многие из них были лишены электроэнергии на протяжении нескольких дней. Основной причиной, как показало расследование, в этом случае тоже была недостаточная коммуникация человека и машины: программный “глюк” помешал операторам в Огайо обратить внимание на необходимость перераспределения энергии, пока незначительные проблемы (перегруженность линий, оказавшихся внутри разросшейся листвы) не спровоцировали неконтролируемые каскадные отключения.

Утечка теплоносителя на атомной электростанции в Три-Майл-Айленде в Пенсильвании 28 марта 1979 года обошлась почти в миллиард долларов, потраченных на очистку местности, и повлекла череду митингов против ядерной энергетики. Окончательный отчет о причинах происшествия называет много факторов, включая путаницу, возникшую из-за неудачного пользовательского интерфейса. В частности, световой сигнал, который, по мнению операторов, должен был предупреждать их о срабатывании контрольного клапана и его закрытии после этого, в действительности сообщал о том, была ли послана команда, и поэтому они так до конца и не поняли, что клапан все время оставался открытым.

Все эти аварийные ситуации, возникшие на транспорте и в энергетических системах, учат нас, что, когда мы возложим на искусственный интеллект управление какой бы то ни было физической системой, мы должны будем приложить серьезные исследовательские усилия не только на то, чтобы машины хорошо работали сами по себе, но и на то, чтобы они эффективно сотрудничали с контролирующими их работу людьми. По мере того как искусственный интеллект становится “умнее”, “умнее” должен становиться не только сам машинный “интеллект”, не только интерфейс, с помощью которого он обменивается данными с людьми, но важна и постоянная забота о том, чтобы оптимально распределить задачи в системе человек-машина – в частности, это выявление ситуаций, когда управление должно быть передано на высший уровень, с передачей человеку необходимой для этого информации, но без потока несущественных сообщений, отвлекающих его.

У искусственного интеллекта огромный потенциал в деле улучшения здравоохранения. Оцифрованные истории болезней уже позволили врачам и пациентам лучше и быстрее принимать решения, а также мгновенно получать помощь от экспертов всего мира, проводящих диагностику по цифровым изображениям. Но в действительности лучшим экспертом в таком деле скоро может стать система с искусственным интеллектом, если принять во внимание быстрый прогресс в машинном распознавании образов и глубоком обучении. В подтверждение сошлемся на голландское исследование 2015 года, показавшее, что компьютерная диагностика рака простаты с помощью магнитно-резонансной томографии (МРТ) давала лучшие результаты, чем диагностика радиолога-человека, а исследования, проводившиеся в 2016 году в Стэнфордском университете, показали, что и рак легких искусственный интеллект может диагностировать по фотографиям с микроскопа даже лучше врача-человека. Если машинное обучение способствует выявлению взаимосвязи между генами, заболеваниями и откликом на лечение, то оно же могло бы радикально улучшить персонализированные методы в медицине, создать условия для содержания сельскохозяйственных животных в значительно более здоровом состоянии и для выведения более устойчивых к заболеваниям пород. Более того, у роботов есть все основания, для того чтобы превзойти людей в надежности и точности при проведении хирургических операций, и для этого даже не требуются передовые AI-технологии. В последние годы были проведены самые разнообразные роботизированные операции, и при этом часто достигались значительно бóльшие миниатюризация и точность, позволяющие обходиться меньшими разрезами, снижая кровопотери, доставляя пациентам меньше страданий и сокращая сроки послеоперационной реабилитации.

Увы, и здесь, в деле здравоохранения, не обошлось без болезненных уроков на тему о том, как важна надежность программного обеспечения. Канадский аппарат Therac‐25, к примеру, был создан для лечения рака методами лучевой терапии, которая могла вестись в двух различных режимах: либо пучком низкоэнергетических электронов, либо мощным рентгеновским лучом, получаемым при рабочем напряжении порядка мегавольт и фокусируемым на цели при помощи специальной защиты. К несчастью, программное обеспечение содержало “глюки”, не выявленные в процессе отладки, и техники, думая, что управляют маломощным пучком электронов и не устанавливая поэтому защиту, направляли на пациентов мегаэлектронвольтный рентген, что стоило некоторым из них жизни. Гораздо больше пациентов умерло в 2000 и 2001 годах от лучевой болезни в Национальном онкологическом институте в Панаме, где в оборудование для лучевой терапии с использованием радиоактивного изотопа кобальта Co‐60 было установлено не прошедшее достаточной валидации программное обеспечение с вводящим оператора в заблуждение интерфейсом, в результате чего время экспозиции оказывалось завышенным. Согласно опубликованному недавно докладу, в США в период между 2000 и 2013 годами ошибки роботизированной хирургии стали причиной 144 смертей и 1391 травмы, при этом наиболее частые ошибки включали в себя не только аппаратные проблемы, такие как паразитные электрические дуги, ожоги или падающее на пациентов оборудование, но и ошибки в работе программ, вызывающие неконтролируемые движения или спонтанное отключение оборудования.

Хорошая новость заключается в том, что остальные почти два миллиона роботизированных хирургических операций, упомянутых в докладе, прошли гладко, и использование роботов, очевидно, делает хирургию более безопасной. По данным исследования, проведенного по заданию правительства США, плохое обращение при содержании в стационарах способствует смерти более 100 000 американских пациентов в год, так что моральный императив при разработке лучшего AI-оборудования для медицины, вероятно, даже более значим, чем при создании беспилотных автомобилей.

Вероятно, ни в какой другой отрасли человеческой деятельности компьютеры не оказали столь большого влияния, как в области связи. После введения компьютеризированных телефонных коммутаторов в пятидесятых годах, появления интернета в шестидесятых и Всемирной паутины в 1989 году миллиарды людей теперь отправляются онлайн, чтобы общаться, совершать покупки, читать новости, смотреть фильмы или играть в игры. Они привыкли получать доступ к миру информации в один клик – и часто бесплатно. Появление “интернета вещей” обещает повысить эффективность, точность, удобство и экономическую выгоду от того, что доступ онлайн можно будет получить буквально ко всему: от бытовых светильников, термостатов и холодильников до биочипа транспондеров, имплантированных сельскохозяйственным животным.

Эти впечатляющие достижения на пути к всеобщей мировой связи сделали актуальной четвертую задачу в повестке компьютерных ученых: они должны улучшить не только тестирование, валидацию и контроль, но и защиту от вредоносного программного обеспечения (“мальвари”) и взломов. Если все казусы, описанные выше, происходили от непреднамеренных ошибок, защита устанавливается именно против преднамеренных и злонамеренных неправомерных действий. Первая “мальварь”, привлекшая к себе внимание средств массовой информации, получила имя червя Морриса. Она была запущена в сеть 2 ноября 1988 года и использовала уязвимость в операционной системе UNIX. Утверждается, что это была неудачная попытка подсчитать, сколько компьютеров в тот день было онлайн, и хотя в результате было инфицировано и выведено из строя около 10 % от 60 000 компьютеров, составлявших тогда интернет, это не помешало создателю червя, Роберту Моррису, стать ординарным профессором информатики в MIT.

Есть и другой тип вредоносных программ: они используют “уязвимости” не в программном обеспечении, а в людях. 5 мая 2000 года, словно бы в честь моего дня рождения, многие люди получили от знакомых и коллег письма с темой “ILOVEYOU”, и те из пользователей Microsoft Windows, кто открыл вложенный в письмо файл “LOVE-LETTER-FOR-YOU.txt.vbs”, неосторожно запустили скрипт, повредивший их компьютеры и повторно разославший то же самое сообщение всем, кто только был в их адресных книгах. Этот червь, созданный двумя молодыми филиппинскими программистами, тоже заразил около 10 % интернета, как и червь Морриса. Но из-за того что интернет к этому времени стал намного больше, вызванная им инфекция стала величайшей инфекцией на тот момент: от нее пострадало свыше 50 миллионов компьютеров, а общий убыток составил более 5 миллиардов долларов. Вам, вероятно, известна печальная правда, что интернет по-прежнему остается зараженным бесчисленными разновидностями инфекций, которые специалистами по кибер-безопасности классифицируются как черви, трояны, вирусы и иные устрашающе звучащие категории, а их деятельность варьируется от засорения вашего компьютера забавными безвредными сообщениями до стирания нужных файлов, кражи личной информации, шпионажа и “зомбирования” вашего компьютера для рассылки спама.

Вредоносная программа цепляется к любому компьютеру, к какому только может, но хакеры атакуют вполне конкретные цели – среди недавних жертв много громких имен: Target, TJ Maxx, Sony Pictures, сайт знакомств Эшли Мэдисон, cаудовская нефтяная компания Aramco и Национальный комитет Демократической партии США. Более того, чем дальше, тем выше ставки. В 2008 году хакеры украли 130 миллионов номеров кредитных карт и другую информацию о счетах пользователей платежной системы Heartland Payment, а в 2013 они украли больше трех миллиардов (!) учетных записей в системе электронной почты Yahoo! В 2014 году при взломе системы Управления кадровой службы правительства США была украдена информация о более чем 21 миллионе человек, включая, по некоторым данным, сведения о сверхсекретных сотрудниках и отпечатки пальцев тайных агентов.

Поэтому я поднимаю глаза к небу всякий раз, когда читаю о новейших системах безопасности, якобы обеспечивающих стопроцентную защиту от взлома. И тем не менее “стопроцентная защита от взлома” – это именно то, что нам необходимо для будущих систем искусственного интеллекта, прежде чем мы поставим их управлять, скажем, какими-то важными объектами инфраструктуры или системой вооружений, поэтому с ростом вовлеченности искусственного интеллекта в общественную жизнь непрерывно возрастает важность обеспечения компьютерной безопасности. Хотя очень часто причиной взлома оказывается элементарная человеческая доверчивость или неочевидная уязвимость недавно выпущенной программы, не менее часто несанкционированный вход на удаленный компьютер обеспечивает банальная ошибка, остававшаяся незамеченной неприлично долгое время. Ошибку “Heartbleed” не замечали с 2012 по 2014 год в одной из самых популярных библиотек программного обеспечения для безопасной связи между компьютерами, а ошибка “Bashdoor” оставалась в самой операционной системе всех работавших под Unix компьютеров с 1989 до 2014 года. Это означает, что средства для улучшения тестирования, валидации и контроля в системах искусственного интеллекта будут служить также и повышению безопасности.

К сожалению, лучшие системы искусственного интеллекта окажутся одинаково эффективны как в поиске новых уязвимостей, так и в проведении наиболее изощренных хакерских атак. Представьте себе, что в один прекрасный день вы получаете электронное письмо, образец необычно персонализированного “фишинга”, как пример практически неотразимой попытки разгласить вашу персональную информацию. Письмо приходит с адреса близкого вам человека, и взломавший его искусственный интеллект необычайно искусно выдает себя за него, имитируя его стиль и наиболее характерные выражения, с которыми он мог познакомиться, проанализировав почту в его аутбоксе, в том числе и отправленные им вам сообщения, а также используя собранную о вас информацию из других источников. Вы бы не попались? А если бы фишинговое письмо пришло из кредитной компании, выдавшей вам кредитную карточку, а за ним последовал бы телефонный звонок, и приветливый человеческий голос в трубке никак не опознавался бы как сгенерированный искусственным интеллектом? Пока незаметно, чтобы в набирающем обороты соревновании хакеров и защитников компьютерной безопасности позиции последних были сильнее.