Заключение

Архитектор Рахина Ибрагим, замужняя женщина (супруг ее остался по другую сторону океана), мать четверых детей, работала волонтером в больнице и, ко всему прочему, готовилась к защите диссертации в Стэнфордском университете. Мало ей было забот – она перенесла еще и экстренную гистерэктомию и, хотя уже почти поправилась после операции, пока еще не могла долго обходиться без медицинской помощи и лекарств. Тем не менее она забронировала билет на Гавайи, чтобы в январе 2005 года принять участие в 38-й Международной конференции по системным наукам и выступить с докладом перед коллегами.

Утром 2 января 2005 года она вместе с дочкой приехала в аэропорт Сан-Франциско, сразу же подошла к стойке регистрации, предъявила документы и попросила предоставить ей инвалидное кресло. Ей отказали. На экране компьютера высветилось предупреждение, что ее имя включено в федеральный черный список – базу данных, составленную после 11 сентября 2001 года с целью не допустить к полетам людей, подозреваемых в терроризме.

Перепуганная дочка Рахины Ибрагим, еще подросток, оставшись одна, позвонила другу семьи и сказала, что ее маму куда-то увели в наручниках. Саму Ибрагим затолкали на заднее сиденье полицейской машины и повезли в отделение. Ее обыскали, проверив, что у нее под хиджабом, и заперли в камере без необходимых лекарств и медицинской помощи. Через два часа явился агент органов национальной безопасности с бумагами на освобождение и объявил ей, что из черного списка ее фамилию вычеркнули. Ибрагим добралась до места проведения конференции, а оттуда отправилась на родину, в Малайзию, проведать родных.

Ибрагим попала в черный список, когда агент ФБР, заполняя форму, поставил галочку не в том квадратике. Возможно, ошибка произошла из-за того, что террористическую организацию “Джемаа Исламия”, ответственную за взрывы на Бали в 2002 году, спутали с малайской организацией “Джемаа Ислам”, профессиональным объединением людей, обучающихся за границей. Ибрагим состояла во второй и никогда не имела ничего общего с первой. Как только эта ошибка закралась в автоматизированную систему, дело приобрело оттенок государственной важности, что едва ли не вешало на него гриф “без права на обжалование”. Инцидентом в аэропорту Сан-Франциско эта история не закончилась.

Спустя два месяца, на обратном пути из Малайзии в США, Ибрагим вновь задержали в аэропорту. На этот раз конфликт разрешился не так быстро. Ее визу аннулировали на основании подозрений в связях с террористами. Несмотря на то, что Ибрагим была матерью американских граждан, постоянно проживала в Сан-Франциско и занимала должность в одном из самых уважаемых университетов Америки, в Штаты ее не пустили. В конечном итоге, прежде чем ей удалось выиграть битву за свое честное имя, прошло почти десять лет. Почти десять лет Америка оставалась для нее запретной страной. И все из-за того, что человек один раз ошибся, а компьютер наделили слишком большим авторитетом.

Человек плюс машина

Никто не сомневается в том, что автоматика оказала огромное и полезное влияние на жизнь каждого из нас. Перечень успехов уже созданных на сегодняшний день алгоритмов поражает воображение. Алгоритмы помогают нам диагностировать рак груди, ловить серийных убийц и предотвращать авиакатастрофы; открывают нам свободный доступ ко всем накопленным человечеством знаниям – надо лишь пошевелить пальцами; они в одно мгновение соединяют людей по всему миру, что нашим предкам и не снилось. Но, кажется, стремясь ко всеобщей автоматизации и торопясь решить множество мировых проблем, мы вместо одной сложности создали себе другую. Эти полезные, заслуживающие всяческих похвал алгоритмы вынуждают нас распутывать плотный клубок мудреных загадок.

В любой области, какую ни возьми – в судебной системе, здравоохранении, охране порядка и даже в интернет-торговле, – возникают осложнения, связанные с вторжением в личную жизнь, предвзятостью, ошибками, безответственностью и непрозрачностью, которые так просто не обойти. Иногда алгоритмы уже одним фактом своего существования ставят перед нами острые вопросы, требующие честного и объективного анализа: какие мы, люди, каким мы хотим видеть наше общество и насколько мы способны совладать с крепнущей властью бесстрастных информационных технологий?

Но, возможно, в этом-то и загвоздка. Может быть, наша ошибка как раз в том, что мы рассматриваем алгоритмы как некую властную структуру.

Начать с того, что наше нежелание оспорить власть алгоритмов облегчило задачу тем, кто хочет на нас нажиться. Пока я искала материалы для своей книги, мне попадались мошенники всех мастей, и все они были не прочь воспользоваться каким-нибудь мифом и подзаработать на нашем простодушии. Несмотря ни на какие научно обоснованные аргументы, кто-то продает правоохранительным органам и правительству алгоритмы, якобы способные по одному только лицу распознать в человеке потенциального террориста или педофила. Есть и такие, кто утверждает, будто достаточно подредактировать с помощью их программы одну строку в сценарии, и ваш фильм станет блокбастером. Другие с полной уверенностью и без тени иронии заявляли, что их алгоритм найдет для вас настоящую любовь.

Но даже добросовестные алгоритмы нередко наносят людям вред своим авторитетом. Эта книга изобилует историями о губительной деятельности алгоритмов. В Айдахо “инструмент бюджетного регулирования” оставил инвалидов без финансовой поддержки. Алгоритмы прогнозирования рецидивов преступлений присваивают темнокожим подсудимым более высокие рейтинги по шкале риска просто в силу исторических причин. Система диагностики заболеваний почек была устроена так, что миллионы людей, сами того не ведая и не давая на то своего согласия, обнародовали свои глубоко личные данные. Алгоритм, предназначенный для торговли в интернете, лишил юную девушку возможности самой сказать папе о том, что она беременна. Получив в свое распоряжение программу для отслеживания объектов наблюдения, полиция составляет “черные списки”, хотя задача алгоритма – предотвращать стрельбу. Ошибки и перекосы на каждом шагу.

Вместе с тем, когда мы говорим о слабых местах алгоритмов, может сложиться впечатление, будто существует некий идеал и надо к нему стремиться. Я долго и упорно думала и не смогла вспомнить ни одного бесспорно справедливого алгоритма. Скрытые угрозы таят в себе даже самые, казалось бы, прекрасные алгоритмы, такие как авиационные автопилоты и диагностирующие рак нейросети. Как вы уже знаете из главы “Автомобили”, человек, которого научили управлять машиной с автопилотом, рискует, оказавшись за рулем или джойстиком, попасть в крайне затруднительное положение. Высказываются даже опасения, что с виду чудесные алгоритмы для выявления опухолей, с которыми мы познакомились в главе “Медицина”, не для всех этнических групп одинаково эффективны. Но и без алгоритмов в мире не так уж много по-настоящему объективных и справедливых систем. Стоит только копнуть поглубже в любой области, и обнаружатся какие-нибудь нехорошие тенденции.

Давайте подумаем: допустим, мы смирились с тем, что идеала не существует, – что тогда? Алгоритмы будут ошибаться. Алгоритмы будут несправедливыми. Это вовсе не означает, что мы не постараемся сделать их как можно более точными и менее тенденциозными, но, возможно, признав, что алгоритмы – как и люди – несовершенны, мы несколько ослабим их власть, которой мы же их и наделили.

Представим себе, что мы не стали бросать все силы на создание алгоритмов, отвечающих самым высоким стандартам объективности, а сделали так, чтобы в случае неизбежной ошибки их работу было легко скорректировать; что те же усилия и время мы потратили на разработку таких автоматических систем, отключить которые не сложнее, чем внедрить. Наверное, логичнее было бы с самого начала разработать алгоритм, решения которого можно оспорить. Представим себе, что, по замыслу инженеров, алгоритмы не инструктируют людей, а помогают им принимать решения. Что они не просто выдают нам результат, а показывают, как и почему они пришли к тому или иному выводу.

На мой взгляд, лучшие алгоритмы – те, что на каждом этапе своей работы принимают в расчет человека. Те, что знают о нашей склонности излишне доверять решению компьютера, но в то же время учитывают собственные недостатки и не скрывают своей неуверенности.

Это одно из самых полезных свойств компьютера IBM Watson, победителя телевикторины Jeopardy. По условиям игры ответ должен быть дан однозначный, но алгоритм предлагал и несколько вариантов, которые он рассматривал по ходу дела, а также количественно оценивал свою уверенность в правильности каждого варианта. Наверное, если бы нечто в этом роде происходило при оценке вероятности рецидивизма преступности, судьям было бы проще критически отнестись к тому, что сказал компьютер. И если бы алгоритм распознавания лиц показывал не одно лицо, а несколько возможных совпадений, не возникло бы столько проблем из-за ошибок в опознании.

Этим же свойством обусловлена высокая эффективность нейросетей, сканирующих снимки опухолей молочной железы. Алгоритм не приговаривает пациенток к раку. Он выделяет в огромном множестве клеток несколько подозрительных зон, чтобы доктор их проверил. Алгоритму неведома усталость, а врач редко ошибается в диагнозе. Алгоритм и человек работают в дружном тандеме, причем каждый из них пользуется сильными сторонами партнера и принимает во внимание его слабости.

Можно привести и другие примеры – в тех же шахматах, с которых мы начали. Проиграв машине, Гарри Каспаров не рассорился с компьютерами навек. Совсем наоборот. Он стал ярым апологетом “продвинутых шахмат” (Centaur Chess) – игры двух гибридных команд, дуэтов человека и компьютера, так называемых “кентавров”. Алгоритм оценивает возможные последствия каждого хода, тем самым уменьшая вероятность серьезного просчета, но в целом за игру отвечает человек.

Вот как об этом говорит сам Каспаров: “Если пользоваться во время игры помощью компьютера, можно не тратить столько времени на расчеты, а сосредоточиться на стратегии. В таких условиях творческая энергия человека приобретает еще более важное значение”. В итоге шахматы вышли на такой высокий уровень, какого еще никогда не достигали. Безупречная тактика игры и изящная, продуманная стратегия – все лучшее от обоих миров!

Это будущее, которого я жду. Будущее, куда не попадут самонадеянные алгоритмы-диктаторы, заполонившие мою книгу. Будущее, когда искусственный интеллект станет для нас не деспотичным командиром, а таким же полезным ресурсом, как и другие технологии. Мы начнем критически осмысливать решения машин и анализировать их мотивы, станем уважать свои чувства, требовать ответа на вопрос, кто бенефициар, возлагать на алгоритмы ответственность за их ошибки и прекратим сами себя успокаивать. Думаю, это ключ к тому миру, где алгоритмы служат прогрессу общества. И очень хорошо, что эта работа целиком и полностью ляжет на наши плечи. Ибо одно можно сказать с уверенностью: никогда еще человек не был так важен, как в эпоху алгоритмов.