Глава 26

Цена снижения шума

Попросив кого-либо принять меры к снижению шума, вы немедленно столкнетесь с возражением, что необходимые процедуры слишком затратны. Случаются и чрезвычайные обстоятельства, в которых снижение шума попросту невозможно. Подобные доводы мы слышали и в сфере бизнеса, и в образовании, и от правительственных учреждений. Аргументы имеют право на жизнь, однако каждый из них легко переоценить, и нередко они служат лишь оправданием.

Рассмотрим случай, где возражение о затратах выглядит наиболее весомым. Представьте себе преподавателя десятого класса, который в течение учебного года еженедельно выставляет отметки за двадцать пять сочинений. Если учитель тратит на каждую работу не более пятнадцати минут, в его оценку вкрадется шум; оценка будет неточной, несправедливой. Наш учитель может использовать несложную гигиену принятия решений и несколько снизить шумовой фон, обратившись к коллеге с просьбой проанализировать те же самые сочинения. Итак, два человека оценивают работы всего класса. Той же цели учитель достигнет, уделив каждому сочинению чуть больше времени и структурировав относительно сложный процесс оценки. Альтернативный метод – прочитать каждое сочинение по два раза в произвольном порядке. Нашему учителю также поможет подробный стандарт выставления оценки, который он использует как чек-лист. Можно попробовать снизить ситуативный шум, проверяя сочинения на протяжении всего учебного года строго в определенное время дня.

Однако, если собственная оценка учителя предельно точна и не «зашумлена», разумно отказаться от всех указанных нами методов. В этом случае нет повода для беспокойства. Наш герой посчитает, что использование чек-листов или обращение к коллеге станет перебором. Для того чтобы убедиться в его правоте, необходимо организовать анализ: можно ли добиться еще большей точности оценок, насколько критична подобная точность, сколько времени и средств потребуют попытки снижения шума? Не так сложно представить себе возможный потолок потенциальных затрат. С той же легкостью мы увидим, что подобные ограничения будут отличаться при оценке сочинений учеников девятого класса или выпускных работ, отметка по которым станет проходным баллом в университет. В этом случае ставка гораздо выше.

Такой же базовый анализ вполне можно применить и к более сложным ситуациям, с которыми сталкиваются и частные, и государственные компании, отказавшись в результате от определенных стратегий снижения шума. В отношении некоторых заболеваний больницы и сами врачи будут сопротивляться разработке простых методических рекомендаций, которые могли бы снизить вариативность. В случае расхождения мнений о диагнозе попытки снизить шум приобретают особое значение: стратегия позволит спасти жизнь пациента. Однако следует принимать во внимание осуществимость данного проекта и его стоимость. Анализы способны полностью устранить шумовой фон при постановке диагноза. Однако, если анализ подразумевает вторжение в организм пациента, если исследование опасно и дорого, а несущественная вариативность диагнозов чревата довольно умеренными последствиями – вероятно, не в каждом случае такой анализ целесообразно назначать.

Оценка эффективности специалистов довольно редко становится вопросом жизни и смерти. В то же время шум может вылиться в несправедливый рейтинг и принести компании дополнительные расходы. Мы уже поняли, что меры по снижению шума должны быть выполнимыми. Стоят ли они того, чтобы их принимать? Случаи, когда ошибка очевидна, постыдна и чревата неприятными последствиями, обращают на себя внимание. И все же в медицинском учреждении могут решить, что эффект от сложных корректирующих мер не оправдывает затраченных усилий. Порой подобные выводы недальновидны, эгоистичны, неверны и приводят к катастрофическим результатам. Тогда определенные формы гигиены принятия решений целесообразны. И все же убеждение о дороговизне внедрения таких стратегий иногда имеет под собой основания.

Проще говоря, надо сопоставить выгоды от снижения шума с издержками. Подобный подход справедлив и является одной из причин, почему ревизия шумовых помех настолько важна. Во многих ситуациях ревизия выявляет шум, способствующий вопиющей несправедливости, серьезным затратам, а порой и тому и другому. Если это ваш случай, цена снижения шума – не оправдание для бездействия.

Меньше шума – больше ошибок?

Вспомним другой аргумент: некоторые меры по внедрению стратегий снижения шума сами по себе приводят к неприемлемо высокой вероятности ошибок. Довод справедлив в том случае, когда применяется недостаточно хорошо настроенный инструментарий. В самом деле, некоторые меры способны даже увеличить смещение. Например, Facebook и Twitter ввели у себя жесткие методические указания, направленные на удаление сообщений, содержащих определенную бранную лексику, и тем самым снизили уровень шума в своих решениях. Однако под ту же гребенку удаляются бесчисленные пóсты, которые вполне можно было бы сохранить. Ложное определение цели – суть ошибка выбранного направления; это и есть смещение.

Мы часто слышим об организационных реформах, направленных на снижение роли «решений на усмотрение» и тех практик, что производят шум. Для многих подобных реформ существуют определенные причины, однако порой лекарство оказывается опаснее, чем болезнь. Экономист Альберт Хиршман указал в книге «Риторика реакции» на три стандартных возражения, которыми оперируют противники реформ. Во-первых, попытки реформ³⁹⁷ могут носить извращенный характер в том смысле, что они усугубляют проблему, которую призваны решить. Во-вторых, подобные усилия порой оказываются тщетными, не принеся никакого эффекта. В-третьих, они подвергают опасности иные важные ценности (например, попытки защитить профсоюзы и само право на их создание, насколько известно противникам реформ, замедлили экономический рост). Извращение, тщетность и опасность и стали аргументами против снижения шума, а первый и третий из них оказались наиболее сильными. В каких-то случаях эти доводы следует воспринимать как чистую риторику – попытку сорвать реформу, которая на самом деле принесла бы огромный положительный эффект. И все же здесь есть доля правды: некоторые стратегии снижения шума и в самом деле несут риск важнейшим ценностям. Не следует закрывать глаза и на риски извращения.

Те судьи, что возражали против методических рекомендаций по вынесению приговора, как раз на этот риск и указывали. Им было известно, какую работу проделал судья Франкел; никто из них не отрицал, что свобода действий действительно привносит шум. Тем не менее все они дружно считали, что снижение степени свободы ни в коем случае не снизит количество ошибок, а лишь приведет к его увеличению. Вацлав Гавел писал, что противники Франкела³⁹⁸ настаивали: «Следует распрощаться с надменным убеждением, что мир – лишь головоломка, в которой нужно разобраться, машина, подчиняющаяся инструкциям, которые предстоит изобрести, фрагмент информации, который мы вводим в компьютер в надежде, что рано или поздно он выплюнет из принтера универсальное решение». Причиной отказа от идеи универсального решения является твердая уверенность в том, что ситуации, в которые попадает человек, бесконечно разные, и хороший судья всегда учтет эти различия. То есть с присутствием шума надо смириться или по крайней мере отказаться от некоторых стратегий его снижения.

Когда компьютер только научили играть в шахматы, одна крупная авиакомпания предложила пассажирам на международных рейсах сразиться с искусственным интеллектом. В программу заложили три уровня сложности. На самом простом из них компьютер следовал элементарному правилу: ставить шах противнику при малейшей возможности. Шума в программе не наблюдалось – играла она каждый раз однотипно. И в то же время твердое правило приводило к многочисленным ошибкам. Шахматистом компьютер оказался крайне слабым, и даже неопытный игрок мог нанести ему поражение (хотя в этом и вся соль: победивший пассажир – довольный пассажир).

Вспомним также политику осуждения преступников, принятую в некоторых американских штатах и получившую название «Закон трех ошибок»³⁹⁹. Идея заключалась в том, что, совершив три уголовных преступления, вы получаете приговор: «пожизненное заключение». Политика снижала разброс мнений, обусловленный произвольным назначением судьи. Сторонники системы выражали серьезную обеспокоенность межэкспертным шумом и высокой вероятностью снисходительности судей по отношению к рецидивистам. Стратегия «закона трех ошибок» была призвана устранить главный элемент шума.

Однако, пусть этот подход и преуспел в снижении шумового фона, мы имеем основания полагать, что цена успеха слишком высока. Не каждый человек, совершивший три уголовных преступления, заслуживает того, чтобы его выбросили из жизни. Возможно, в его преступлениях отсутствует элемент жестокости; не исключено, что к правонарушению его побудили ужасные жизненные обстоятельства; допустим, он вполне способен встать на путь исправления. Многие считают, что пожизненное заключение без учета особых обстоятельств свидетельствует не только о жестокости системы, но и об отсутствии гибкости.

Вспомним дело «Вудсон против Северной Каролины»⁴⁰⁰, когда Верховный суд Соединенных Штатов постановил, что обязательный смертный приговор – неконституционная мера не в силу своей жестокости, а потому что его возвели в правило. Смысл введения обязательного смертного приговора заключался как раз в том, чтобы воспрепятствовать возникновению шума (то есть при определенных условиях убийца приговаривался к смертной казни). Призывая к необходимости индивидуального подхода, суд заявил, что «больше нет места убеждению, что любое правонарушение в определенном правовом поле влечет идентичную меру наказания безотносительно прошлого обвиняемого и его склонностей». Верховный суд заключил, что серьезным конституционным недостатком обязательного смертного приговора необходимо признать «обращение с каждым из лиц, обвиненным в определенном преступлении, как с элементом безликой, аморфной массы, подлежащим слепому отправлению правосудия – смертной казни, в то время как следует воспринимать любого из них как уникальную личность».

Вынесение смертного приговора – процедура, где ставки особенно высоки, однако данный анализ можно применять и к иным ситуациям, большинство которых совершенно не обязательно связано с правосудием. Учителя, выставляющие отметки школьникам, доктора, обследующие пациентов, и работодатели, аттестующие работников, оценщики страховых убытков, устанавливающие размер страховой премии, и тренеры, оценивающие спортсменов, – каждый из них способен совершить ошибку, применяя жесткие правила снижения шума. Если работодатель использует простые правила оценки и продвижения сотрудников, подобные стандарты устраняют шум, в то же время игнорируя важнейшие аспекты деятельности работника. «Бесшумная» скоринговая система не учитывает значимых переменных, почему и сработает хуже «зашумленных» индивидуальных суждений.

В главе 27 мы рассмотрим общий подход восприятия человека как уникальной личности, а не как «элемента безликой аморфной массы». Пока же сосредоточимся на более прозаических темах. Некоторые стратегии снижения шума гарантированно служат причиной возникновения множества ошибок подобно той примитивной шахматной программе.

И все же, несмотря на видимую убедительность аргумента, на деле он таковым не является. Если конкретная стратегия снижения шума чревата ошибками, не следует смиряться с высоким уровнем шумовых помех. Необходимо продумать альтернативный подход, например, пойти по пути обобщения суждений вместо утверждения глупых правил либо разработать более адекватные методические рекомендации и регламенты взамен несуразных. Допустим, университет в целях снижения шума применяет тесты; абитуриенты с наиболее высоким рейтингом допускаются до обучения, только и всего. Если подобное правило дает слишком грубый результат, вуз может предложить формулу, которая учла бы как балл при тестировании, так и возраст, спортивные достижения, информацию о семье абитуриента и многое другое. Сложные правила могут оказаться и более точными, поскольку лучше настроены на восприятие широкого круга значимых факторов. Используют же врачи комплексные системы оценки для диагностики некоторых заболеваний. Если методические рекомендации и правила неэффективны, можно ввести иные, подходящие к конкретной ситуации формы гигиены принятия решений. Вспомните о методах обобщения суждений или о структурировании процессов – наподобие протокола промежуточных оценок.