Книга: Это злая разумная опухоль
Назад: Cambridge Analytica и другой тест Тьюринга (Блог, 29 марта 2017 года)
Дальше: Срывая крышку с ящика Пандоры (Журнал Nowa Fantastyka, ноябрь 2018 года)

Жизнь под надзором FAST
(Журнал Nowa Fantastyka, апрель 2015 года)

В 2007 году я написал рассказ о человеке, стоящем в очереди в аэропорту. Там не так много всего происходило: он просто потихоньку двигался вместе со всеми остальными, размышляя о проверке, ожидающей его (и других пассажиров) перед посадкой. В конце концов герой оказывался в голове очереди, проходил через сканер и шел дальше. Вот, в общем-то, и все.
Только сканер не был рентгеном или металлодетектором: это был считыватель мыслей, выявлявший недобрые замыслы. Герой был латентным педофилом, чьи желания машина отображала ярко и четко, хотя он ни разу им не подчинился. «В глазах Господа» задает вопрос, что вас в большей степени определяет: совершенные вами поступки или те, о которых вы только думаете; он исследует очевидные проблемы с конфиденциальностью в обществе, где государство может читать мысли. Технология, которая там описывается, вдохновлена реальным патентом, оформленным Sony несколько лет назад; тем не менее я думал, что у нас будет хотя бы лет двадцать, прежде чем мы вплотную столкнемся с этими вопросами.
Я точно не думал, что подобную систему будут разрабатывать уже в 2015 году.
Однако же вот она: технология, которая, пусть еще и не готова к выходу в свет, уже достаточно разработана, чтобы American University Law Review опубликовал статью, рассматривающую связанные с ней юридические последствия. FAST (Future Attribute Screening Technology) – это система, «в данный момент разрабатываемая для использования в аэропортах», которая «способна читать мысли (…) используя разнообразные комплекты датчиков, фиксировать показатели жизнедеятельности и, основываясь на этих данных, определять, есть ли у просканированного человека „злой умысел“ – намерение совершить преступление».
Описанная система на самом деле не столько читает мысли, сколько делает выводы об их содержании, основываясь на физиологических и поведенческих подсказках. Она считывает сердцебиение и температуру, отслеживает дыхание и движения глаз, а также перемены в вашем голосе. Если вы – женщина, она вынюхивает, на какой вы стадии овуляции. Она видит вашего нерожденного ребенка и состояние вашего сердца – и, как только исследует вас по сотне параметров, машина решает, есть ли у вас преступный умысел. Если она думает, что есть, вы оказываетесь в маленькой белой комнатке для допроса с пристрастием.
Конечно, чувство вины не обязательно означает, что вы планируете теракт. Может, вы просто изменяете супругу; может, стыдитесь, что сперли на работе коробку скрепок. Может, вы вообще не испытываете вину; может, предаетесь праздным фантазиям о том, как переломаете на хуй колени всем этим наглым ублюдкам-таможенникам, которые кончают оттого, что портят жизнь всем остальным. Может, у вас легкий синдром Аспергера или вы немножко запыхались, потому что бежали, чтобы успеть на самолет – но FAST видит только ускоренное дыхание и подозрительное нежелание устанавливать зрительный контакт.
Виновные умы, рассерженные умы, фантазирующие умы: тело предает их всех примерно одинаково, и стоит только этому тревожному сигналу возникнуть, как вы – Подозрительная Личность. Бо́льшая часть статьи в AULR исследует конституционные последствия внедрения этой технологии в США, сценарии, в которых FAST проходит юридическую проверку, и те, в которых она нарушает четвертую поправку – и, хотя именно этого и стоит ожидать от юридического комментария, я нахожу подобные беспокойства практически не имеющими значения. Если наши правители захотят использовать технологию, они будут ее использовать. Если ее использование незаконно, они либо изменят закон, либо нарушат его – как им будет удобнее. Вопрос не в том, начнут ее использовать или нет. Вопрос в том, в какой глубокой жопе мы окажемся, когда это произойдет.
Давайте поговорим о проценте ошибок.
Если кто-то скажет вам, что тест с 99 % точности выявил в ком-то террориста, какова вероятность, что тест ошибается? Вы можете сказать «один процент»; в конце концов, система точна на 99 %, так ведь? Проблема в том, что вероятности растут вместе с размером выборки – так, в аэропорту вроде того, что в Сан-Франциско (через который ежегодно проходит сорок пять миллионов человек), девяностодевятипроцентная точность означает, что за день как потенциальные террористы будут отмечены свыше 1200 человек, даже если ни одного настоящего террориста в аэропорту не будет. Это значит, что, даже если ежедневно в один и тот же аэропорт будет прокрадываться новый террорист, вероятность того, что кто-то окажется невиновен, даже если его отметили, составляет – барабанная дробь – свыше 99 %.
Самые свежие данные о точности FAST, которые у нас есть, говорят, что она составляет 78–80 %, а эти (неподтвержденные) оценки исходят от тех же ребят, что разрабатывают эту систему – систему, задача которой, напомню, собирать глубоко личную и подробную физиологическую информацию о миллионах людей ежедневно.
Хорошие новости в том, что самое вопиющее злоупотребление подобной системой, возможно, коснется только людей, прибывающих на территорию США. Судя по моему опыту, пограничники во всех двадцати с лишним странах, которые я посещал, гораздо приятнее, чем в Америке, и это во мне не просто обида говорит: согласно заказанному туриндустрией независимому опросу о впечатлениях от пересечения границ, пограничники США – величайшие поганцы в мире с двукратным отрывом от конкурентов.
Поэтому я и гадаю, не будет ли, хотя бы для Северной Америки, FAST на самом деле благом – или, по крайней мере, чем-то лучшим того, что мы имеем сейчас. Может быть, FAST не идеальна, но – предположительно – в нее не забита установка отмечать тебя только из-за темного цвета кожи. Она не решит обосрать тебя потому, что у нее дурное настроение, или потому, что ей кажется, будто ты похож на либерала. Возможно, она будет параноидальна и, возможно, чаще всего неправа, но, по крайней мере, одинаково параноидальна и неправа по отношению ко всем людям.
Безусловно, FAST все равно может стать воплощением своего рода зарождающегося предрассудка. Бедные люди, например, могут особенно нервничать перед полетом, потому что летать им доводится нечасто; FAST может счесть их потные ладони подозрительными, тем временем позволяя богатым социопатам спокойно проходить в бизнес-класс. Вуаля: немедленная классовая дискриминация. Если у нее есть функция распознавания лиц, она вполне может проявить ошибку «для-меня-все-черные-выглядят-одинаково», типичную для такой техники. Но подобные косяки можно выполоть, если ты готов приложить усилия. (Для начала – перестать обучать технологии распознавания лиц по фоткам из своего белоснежного выпускного альбома из старшей школы в Кремниевой Долине.) Подозреваю, изгнать подобный предрассудок из человека будет значительно труднее.
И действительно, с учетом предвзятости и тупости, столь явно проявляемой многими так называемыми представителями власти, отдать хотя бы часть их решений на аутсорсинг кажется отличной идеей. Не позволять им выбирать, к кому прицепиться, доверить это решение машине; может, она и не точна, зато и не пристрастна.
Учитывая, насколько плохо сейчас идут дела, возможно, даже такая несовершенная штука, как FAST, может стать шагом в верном направлении.
Назад: Cambridge Analytica и другой тест Тьюринга (Блог, 29 марта 2017 года)
Дальше: Срывая крышку с ящика Пандоры (Журнал Nowa Fantastyka, ноябрь 2018 года)