Глава 22
Мечты «алгористов» об объективности

Изучая историю науки, Питер Гэлисон уделяет особое внимание той области, где, образно выражаясь, теория пересекается с экспериментом.

«Довольно много лет я руководствовался в своей работе странным противостоянием абстрактных идей и чрезвычайно конкретных объектов», – сказал он мне однажды, стараясь объяснить свой образ мышления. На встрече в Вашингтоне, штат Коннектикут, он рассуждал о напряженности времен холодной войны между инженерами (наподобие Винера) и администраторами Манхэттенского проекта (тем же Оппенгеймером): «Когда [Винер] предупреждал об опасностях кибернетики, отчасти он пытался оспорить те зловещие формулировки, которыми пользовались люди вроде Оппенгеймера. Помните: «Если сияние тысячи солнц вспыхнуло бы в небе, это было бы подобно блеску Всемогущего… Я стану смертью, Разрушителем Миров». Уверенность в том, что физика вправе говорить с природой о Вселенной и мощи ВВС, одновременно отталкивала и манила. В некотором смысле мы наблюдаем то же самое снова и снова в последние десятилетия – нанотехнологии, рекомбинантная ДНК, кибернетика; я извещаю о пришествии науки, которая сулит спасение и гибель, а вы должны прислушаться ко мне, поскольку она может погубить вас. Этот искушающий, если угодно, нарратив сегодня воспроизводится также в области искусственного интеллекта и робототехники».

Мне было двадцать четыре года, когда я впервые познакомился с идеями Винера и встретился с его коллегами в Массачусетском технологическом институте, о чем рассказывалось во введении; в ту пору меня почти не интересовали предупреждения и тревоги Винера. Меня привлекали его строгие, даже радикальные взгляды на жизнь, обусловленные математической теорией коммуникаций, в которой сообщение являлось нелинейным. Согласно Винеру, «новые концепции коммуникации и управления подразумевают новую интерпретацию человека, человеческого познания Вселенной и общества». Из этого родилась моя первая книга, где теория информации – математическая теория коммуникации – трактовалась как модель всего человеческого опыта.

В недавнем разговоре Питер сказал мне, что начинает писать книгу – о конструировании, досадных помехах и мышлении, – в которой намерен изучить природу кибернетики как «черного ящика» и способы кибернетической репрезентации, цитирую, «фундаментальной трансформации познания, машинного обучения, кибернетики и человека».

Во второй из своих лучших книг великий средневековый математик аль-Хорезми описал новую местную форму индийской арифметики. Его имя, вскоре по созвучию соотнесенное с «algorismus» (на позднесредневековой латыни), стало обозначать процедуры, применяемые к числам, – в конечном счете проникнув в форме «алгоритм» (по модели слова «логарифм») во французский и далее в английский языки. Лично мне нравится идея о сообществе современных алгористов, пусть спеллчекер исправно подчеркивает это слово. Для меня алгорист – это человек, исполненный подозрительности в отношении человеческих суждений, считающий, что эти суждения нарушают фундаментальные нормы объективности (и, следовательно, научности).

Ближе к концу XX столетия два психолога из университета штата Миннесота обобщили в своей статье обширный список литературы по темным водам предсказаний. С их точки зрения, одна сторона конфликта слишком долго, решительно – а потому аморально – придерживалась «клинического метода» прогнозирования, превозносившего все субъективное, «неформальное», «умозрительное» и даже «импрессионистское». К числу таких «клиницистов» принадлежали люди (так писали психологи), которые полагали, что могут тщательно изучать свои дисциплины, учреждать всевозможные комиссии и делать основанные на суждениях прогнозы о криминальных рецидивах, успехах обучения, медицинских результатах и т. п. Другая сторона конфликта, продолжали психологи, охватывала все, что отвергали «клиницисты»; ее сторонники ориентировались на формализм, механистичность и алгоритмы. Эти авторы видели в перечисленном триумф постгалилеевской науки. Последняя не просто извлекала пользу и выгоду из актуарного; в значительной степени она была механо-актуарной. Изучив 136 исследований по предсказаниям во всех областях, от вынесения приговоров до психиатрии, психологи показали, что в 128 работах прогнозы с использованием актуарных таблиц, уравнений множественной регрессии или алгоритмических циклов как минимум совпадали, а в основном превосходили по точности предсказания на основе субъективного подхода.

Далее в статье приводились семнадцать ошибочных обоснований, выдвигаемых «клиницистами». Среди них имелись сугубо эгоистические, продиктованные страхом потерять работу из-за пришествия умных машин. В других случаях приверженцам клиницизма не хватало образования для проверки статистических выводов. Некая группа заявляла, что не верит в формализм математики; еще одна рассуждала об актуарной «дегуманизации»; третья утверждала, что цель научного поиска заключается в понимании, а не в предсказании. Каковы бы ни были мотивы, говорилось в статье, совершенно аморально отрицать приоритет объективного перед субъективным, алгоритмического перед экспертным (личностным).

Алгористическая точка зрения постепенно набирала силу. Энн Милгрэм занимала пост генерального прокурора штата Нью-Джерси с 2007 по 2010 год. Вступив в должность, она захотела узнать, кого арестовывают, осуждают и сажают в штате в тюрьмы – и за какие преступления. Как она сама призналась на лекции проекта TED Talk, ни данных, ни аналитики практически не было. Применяя статистическое прогнозирование, по словам Милгрэм, правоохранительные органы Кэмдена за время ее пребывания на посту прокурора сумели снизить количество убийств на 41 процент и спасти тридцать семь жизней, а общий уровень преступности снизился на 26 процентов. Присоединившись к фонду Арнольда в качестве вице-президента по уголовному правосудию, она собрала команду ученых и статистиков для разработки инструментов оценки рисков; по сути, миссия команды заключалась в выявлении способов помещения «опасных людей» и освобождения тех, кто не представлял угрозы для общества. «Причина в том, как именно мы принимаем решения, – говорит Милгрэм. – Судьи руководствуются благими намерениями, когда выносят приговоры с поправкой на риск для общества, но беда в том, что они действуют субъективно. Они как бейсбольные скауты двадцатилетней давности, которые полагались на чутье и опыт при оценке потенциальных рисков и перспектив. Люди субъективны, а мы хорошо знаем, что бывает при субъективных решениях, – вероятность ошибки велика». Команда Милгрэм выявила более девятисот факторов риска, из которых девять оказались наиболее предсказуемыми. Самыми актуальными для исследователей были следующие вопросы: совершит ли человек новое преступление? прибегнет ли он к насилию? вернется ли он обратно на скамью подсудимых? Нам нужна, говорит Милгрэм, «объективная мера риска», которая должна отражаться в судейских решениях. Мы знаем, что алгоритмические статистические процессы эффективны. По ее словам, «вот почему «Гугл» стал «Гуглом» и почему в спортивных играх далеко не всё определяется размером кошелька владельца команды».

Алгористы победили. Мы привыкли к мысли, что протоколы и данные могут и должны направлять нас в повседневных действиях, от напоминаний о том, куда мы, вероятно, хотим пойти дальше, до вероятного совершения преступления. К настоящему времени, если верить исследованиям, юридические, этические, формальные и экономические перспективы алгоритмизации выглядят квазибесконечными. Я хотел бы сосредоточиться на конкретной «песни сирен» для алгоритмов – на предполагаемой объективности.

Научная объективность имеет долгую историю. Это может показаться удивительным. Разве утверждение психологов из университета штата Миннесота, приведенное выше, справедливо? Разве объективность не сопровождала науку изначально? Стоит сделать небольшое отступление и поразмышлять над эпистемными достоинствами, присущими труду ученого. Количественная оценка кажется полезной, как и прогнозирование, объяснение, унификация, точность, аккуратность, определенность и педагогическая полезность. В лучшем из всех возможных миров эти эпистемные добродетели будут вести нас в одном и том же направлении. Но они не обязательно совпадают в целях – не больше, чем наши этические добродетели. Поощрение людей в соответствии с их потребностями вполне может конфликтовать с поощрением по способностям. Равенство, справедливость, меритократия – то есть этика в широком смысле – все так или иначе чревато конфликтом соперничающих благ. Слишком часто мы забываем, что такой конфликт присутствует и в науке. Если разработать прибор максимальной чувствительности, его показания будут постоянно различаться, что сделает невозможным повторные замеры.

«Научная объективность» вошла в практику и в номенклатуру науки во второй трети XIX столетия. Это очевидно из научных атласов, которые обеспечивали ученых основными сведениями по выбранной специальности: были (и есть) атласы рук, атласы черепов, атласы облаков, кристаллов, цветов, изображений в пузырьковых камерах, ядерных эмульсий и заболеваний глаз. В XVIII столетии все понимали, что никто не станет изображать в атласе конкретный экземпляр опаленного солнцем гусеничного клевера, растущий возле дома. Люди стремились – если речь о гениальных натурфилософах наподобие Гете, Альбина или Чезельдена – наблюдать природу воочию и идеализировать увиденное, визуально его абстрагировать. Вот скелет; изучи его через camera lucida, аккуратно зарисуй. А затем исправь «недостатки». Преимущества такого «занавешивания» практического опыта несомненны: благодаря этому появлялись универсальные руководства, игнорировавшие причуды индивидуальной изменчивости.

По мере расширения числа научных дисциплин и увеличения числа ученых стала все заметнее проявляться обратная сторона идеализации. Одно дело, когда Гете описывал некое «пра-растение» или «пра-насекомое». И совсем другое – когда великое множество ученых принялись фиксировать и описывать свои находки различными, порой противоречивыми способами. С 1830-х годов постепенно начало формироваться новое отношение: утверждалось, что очередной образ зафиксирован с минимальным вмешательством человека, что все протоколы и правила соблюдены. Это подразумевало, что древесный лист обводили карандашом или окунали в чернила и клали на бумагу для получения оттиска. Кроме того, ученые внезапно стали гордиться тем, что разглядывали природные объекты в микроскоп при всех обнаруживаемых недостатках. Чем не радикальная для своего времени идея: снежинки без идеальной гексагональной симметрии, искажения цвета по краям линзы микроскопа, разрывы тканей на сгибах экспериментальных образцов?..

Научная объективность стала означать, что наши представления о мире складываются через принудительное уменьшение вмешательства, пусть даже приходилось фиксировать желтизну края изображения под микроскопом, хотя сам ученый знал, что это цветовое искажение привносит линза, что оно не является характеристикой предмета исследования. Преимущество объективности казалось очевидным: оно гасило стремление увидеть свою теорию признанной или подтвердить общепринятое мнение. Но все имеет свою цену. Наука лишилась точной, легко усваиваемой, яркой, полной глубины и резкости, художественной, если угодно, картины расчлененного тела. Зато приобрела расплывчатую черно-белую фотографию с малой резкостью, и ни один студент (ни даже многие практикующие врачи) не пожелал бы ею воспользоваться для изучения анатомии. Тем не менее на всем протяжении XIX столетия сдержанная – и сдерживающая себя – объективность неуклонно утверждалась в правах.

С 1930-х годов строгая научная объективность начала сталкиваться с проблемами. Например, при каталогизации звездных спектров никакой алгоритм не в состоянии конкурировать с высококвалифицированным наблюдателем, способным произвести сортировку гораздо точнее (и воспроизводимее), чем любая процедура, основанная на жестких правилах. К концу 1940-х годов врачи начали обучаться чтению электроэнцефалограмм. Требовалось экспертное суждение, чтобы разобраться в различных показателях, а никакие ранние методы применения частотного анализа не удовлетворяли поставленной задаче. Солнечные магнитограммы, отображающие магнитные поля на Солнце, требовали привлечения экспертов для выявления реальных сигналов из артефактов, порожденных измерительными приборами. Даже в физике элементарных частиц сложилось понимание того, что невозможно запрограммировать компьютер для правильной сортировки определенных видов треков; было необходимо человеческое суждение.

Постараемся не запутаться: это отнюдь не возвращение в прошлое, не воскрешение гения идеализаторства XVIII столетия. Никто не собирался становиться новым Гете, который, единственный среди всех ученых, описал бы универсальную, идеальную форму растения, насекомого или облака. Экспертное знание можно изучить: человек проходит курс обучения, чтобы приобрести нужные сведения по электроэнцефалограммам, звездным спектрам или трекам в пузырьковой камере; увы, никто и никогда даже не порывался разработать курс мастерства по исключительной наблюдательности. Не существует никакого «королевского пути» к превращению в нового Гете. В череде научных атласов ясно прослеживалось желание включить «субъективные» факторы в «репертуар» труда ученого, необходимый для создания, классификации и интерпретации научных образов.

Во многих утверждениях алгористов зримо проявляется упорное стремление прийти к научной объективности через отказ от человеческих суждений и применение сугубо механических процедур – во имя научной строгости. Во многих американских штатах алгоритмы вынесения приговоров и условно-досрочного освобождения закреплены законодательно. Считается, что машина судит лучше, ибо не подвержена капризам.

Что ж, вот предупреждение от науки. Алгоритмический «процессизм» пережил расцвет в XIX столетии и по-прежнему важен для многих успешных технических и научных начинаний. Но сама мысль о том, что механическая объективность, понимаемая как обязательное самоограничение, будто бы следует некой простой, монотонной кривой (от плохого «импрессиониста-клинициста» к хорошему «актуаристу», полагающемуся на машины), совершенно не соответствует истории науки, если присмотреться к той повнимательнее.

Имеется и более важный урок. Механическая объективность считается одной из научных добродетелей, и естественные науки часто об этом вспоминают. Попробуем перенести этот опыт на области права и социальных наук. Что происходит, например, когда некий патентованный алгоритм отправляет одного человека в тюрьму на десять лет, а другого – на пять, причем за одно и то же преступление? Ребекка Векслер, приглашенная научная сотрудница Проекта информационного общества при юридическом факультете Йельского университета, изучила этот вопрос и подсчитала грандиозные затраты, связанные с применением коммерческих алгоритмов для вынесения судебных решений. Действительно, по разным причинам правоохранительные органы могут не раскрывать алгоритмы идентификации ДНК, определения химических веществ или опознания отпечатков пальцев, и это обстоятельство изрядно ослабляет позицию защиты. В зале суда объективность, коммерческая тайна и судебная прозрачность могут вести к принципиально разным исходам заседания. Поневоле вспоминается история физики. Сразу после Второй мировой войны пленочные гиганты «Кодак» и «Илфорд» усовершенствовали пленку, которая годилась для выявления взаимодействий и распада элементарных частиц. Конечно, физики обрадовались, но потом их уведомили, что состав пленки является коммерческой тайной; отсюда следовало, что ученым никогда не обрести полной уверенности в постижении наблюдаемых процессов. Доказательства с помощью «черных ящиков» – это опасная игра для ученых, уж тем более – для уголовного правосудия.

Другие критики подчеркивают, сколь опасно полагаться на адрес обвиняемого (или осужденного) человека и другие переменные, которые запросто способны оказаться в «черном ящике» алгоритмического приговора своего рода ярлыком. На основе повседневного опыта мы привыкли к тому, что требования службы безопасности в аэропортах слегка ослабляются для детей в возрасте до 12 лет и для взрослых старше 75 лет. Какие факторы алгористы должны, как нам кажется, маскировать в своих тайных процедурах? Образование? Доход? Трудовую историю? Что мы читали, смотрели, посещали или покупали? Предыдущие контакты с правоохранительными органами? И как, по-нашему, алгоритмы должны расценивать эти факторы? Прогностическая аналитика на основе механической объективности имеет свою цену. Иногда эту цену стоит заплатить; но иногда эта цена непомерна для справедливого общества, о котором все мы мечтаем.

В целом, поскольку конвергенция алгоритмов и больших данных все больше и больше сказывается на нашей жизни, неплохо было бы запомнить и вызубрить эти два описанных выше урока истории наук. Человеческое суждение – вовсе не бесполезная шелуха торжествующей чистой объективности самоограничений. А механическая объективность есть добродетель, конкурирующая с другими, а не определяющая сущность научных изысканий. Вот уроки, которые следует усвоить, – и пусть алгористы продолжают грезить о предельной объективности.