Составляющие шума

Разбирая явление внутриэкспертного шума, мы обошли молчанием довольно сложный момент: потенциальную роль случайной ошибки.

Вспомните ваши манипуляции с секундомером. Когда вы раз за разом пытались отмерить десять секунд, результаты были неодинаковыми: вы продемонстрировали внутриэкспертный разброс. Аналогичным образом судьи не назначили бы ровно такие же сроки наказания по 16 делам, если бы им пришлось сделать это в иной ситуации. В самом деле, как мы убедимся далее, если бы первоначальный эксперимент выпал на другой день той же недели, приговоры уже несколько отличались бы. Будь судья в приподнятом настроении из-за счастливого события в жизни дочери или из-за победы любимой спортивной команды накануне, а может, просто потому, что день выдался особенно погожим, приговоры могли бы получиться гораздо мягче. Такой внутриэкспертный разброс концептуально отличается от рассмотренного нами устойчивого межэкспертного разброса, однако отличить их друг от друга довольно сложно. Вариативность, вызванную непостоянными, мимолетными факторами, мы будем называть ситуативным шумом.

В этом исследовании мы практически пренебрегли ситуативным шумом и во время проведения ревизии шумовых помех истолковывали идиосинкразические модели вынесения приговоров выражением устойчивой жизненной позиции судей. Это, безусловно, весьма оптимистическое допущение, но существуют независимые причины полагать, что в данном исследовании ситуативный шум не играл значительной роли. Обладающие солидным опытом судьи, принимавшие участие в эксперименте, без сомнения, использовали свои личные установки о значимости всевозможных характеристик преступлений и подсудимых. В следующей главе мы обсудим ситуативный шум более подробно и покажем, как не спутать его с устойчивым внутриэкспертным шумом.

Итак, мы рассмотрели различные типы шума. Системный шум – нежелательный разброс в суждениях по одному делу, выносимых несколькими экспертами. Мы описали два значимых компонента системного шума, которые можно выделить, когда одни и те же люди дают оценку по нескольким делам:

▣ Межэкспертный шум – разброс в средних значениях суждений, вынесенных различными экспертами.

▣ Внутриэкспертный шум – разброс в отношении экспертов к отдельным делам.

В настоящем исследовании был примерно одинаковый уровень межэкспертного и внутриэкспертного шума. Однако внутриэкспертный шум, в свою очередь, несомненно, содержит некоторую долю ситуативного шума, который можно отнести к случайным ошибкам.

В иллюстративных целях мы рассказали о применении ревизии шума в судебной системе, но точно такой же анализ можно провести на основе ревизии шума в любой сфере – в бизнесе, здравоохранении, государственном управлении или где-то еще. Межэкспертный и внутриэкспертный (включающий ситуативный) виды шума вносят свой вклад в возникновение системного шума, и мы еще не раз к ним вернемся.

К разговору об анализе шума

«Межэкспертный шум возникает, когда разные судьи проявляют различную степень суровости при вынесении приговоров. А когда они не соглашаются друг с другом по поводу того, кто из обвиняемых заслуживает более строгого или мягкого отношения, – это пример внутриэкспертного шума. Его составная часть – ситуативный шум, или случаи, когда судьи противоречат сами себе».

«В идеальном мире обвиняемые представали бы перед справедливым судом, в реальности же они предстают перед системой, полной шума».

Глава 7

Ситуативный шум

Профессиональный баскетболист готовится к штрафному броску: он уже занял позицию на линии. Вот игрок настроился – и пробивает. Он отрабатывал эту последовательность действий бесчисленное количество раз. Окажется ли мяч в корзине?

Мы этого не знаем – как не знает и сам спортсмен. Примерно три четверти бросков в играх Национальной баскетбольной ассоциации обычно попадают в цель. Разумеется, одни игроки результативнее других, однако совсем без промахов не обходится никто. Лучшие в истории⁵⁴ баскетболисты отправляют в корзину чуть больше 90 % штрафных мячей. (На момент написания этой книги к ним относятся Стефен «Стеф» Карри, Стив Нэш и Марк Прайс.) У игроков с худшими результатами штрафных бросков процент попадания равен примерно 50 %. (Великому Шакилу O’Нилу⁵⁵ удавалось забрасывать лишь в 53 % случаев.) Хотя кольцо неизменно находится на высоте 10 футов и удалено от штрафной линии на 15 футов, а стандартный вес мяча – 22 унции, воспроизведение последовательности движений, необходимых для результативного броска, дается весьма непросто. В этой ситуации мы ожидаем вариативность – как среди результатов множества спортсменов, так и у одного игрока. Штрафной бросок – тоже своего рода лотерея. Конечно, шансы на успех будут выше, если пробивает Карри, и ниже, если О’Нил, но все равно это не что иное, как лотерея.

Откуда же берется эта вариативность? Нам известно, что на игрока, стоящего на штрафной линии, влияют бесчисленные факторы: усталость от долгой игры, напряжение из-за минимального разрыва в счете, шумная поддержка болельщиков или свист фанатов команды-соперника. Если промахивается игрок уровня Карри или Нэша, мы прибегаем к одному из вышеперечисленных объяснений. Но мы не можем знать наверняка, какую именно роль играют все эти факторы. Разброс в результатах бросков баскетболиста – тоже один из видов шума.