Ошибки: смещение и шумовые помехи

Мы говорили, что смещение возникает в тех случаях, когда ошибки в некотором количестве суждений совершаются в одном и том же направлении. Смещение – это «средняя погрешность», как, например, в эпизоде со стрелкáми, регулярно попадающими в область ниже и левее цели. Подобная «средняя погрешность» может возникать при слишком оптимистическом общем годовом прогнозе продаж или в случае, когда компания продолжает реинвестировать деньги в уже несостоятельный проект, тогда как вложения давно следует списать на убытки.

Устранение смещения из множества суждений не приведет к полному устранению ошибок, и те ошибки, которые останутся, не будут смещены в одном направлении. Они свидетельствуют о нежелательном расхождении мнений и ненадежности инструментов измерения, применяемых к реальности. Они-то и называются шумом. Шум – это вариативность суждений, которые в идеале должны быть идентичными. Мы также используем термин системный шум для определения помех, отмеченных в компаниях, которые нанимают взаимозаменяемых специалистов для принятия решений: врачей в пунктах экстренной помощи, судей, выносящих приговор преступникам, и оценщиков рисков в страховой компании. Существенная часть данной книги посвящена системному шуму.

Измерение смещения и шума

Среднеквадратическая ошибка (MSE) уже на протяжении двух столетий является стандартом точности в научных методиках измерения. Основные свойства MSE заключаются в том, что она дает нам выборочное среднее значение в виде непредвзятой оценки математического среднего, в равной степени воспринимает погрешность в обе стороны от среднего значения и непропорционально наказывает большие ошибки. MSE не отразит реальную цену ошибки в суждении, так как она нередко имеет асимметричный характер. В то же время решения в профессиональной сфере всегда требуют точного прогноза. Если на город надвигается ураган, цена недооценки и переоценки опасности явно несоизмерима, однако вы не захотите, чтобы подобные отклонения повлияли на прогноз метеорологов относительно скорости и направления ветра. MSE служит подходящим стандартом для вынесения предиктивного суждения, когда целью является объективная точность.

По итогам оценки методом среднеквадратической ошибки смещение и шум, дополняя друг друга, являются независимыми источниками ошибки. Очевидно, что смещение ни к чему хорошему привести не может и снижение его уровня повышает точность. Однако интуиция не всегда подскажет нам, что шум опасен в равной степени и что его подавление всегда оптимизирует процессы. Оптимальной величиной разброса суждений станет «0» – даже в тех случаях, когда присутствует смещение. Разумеется, наша цель – снизить влияние как смещения, так и шума.

Смещение в некотором множестве поддающихся проверке суждений определяется разницей между средним значением суждений и соответствующим истинным значением. Подобная арифметика невозможна, если не существует способа проверить истинность суждений. Например, мы никогда не вычислим справедливый размер страховой премии, определенной андеррайтером по какому-либо риску. Точно так же мы далеко не всегда сумеем понять, насколько на самом деле справедлив приговор. Не располагая подобными возможностями, мы чаще всего допускаем, что смещение отсутствует, а среднее мнение нескольких судей максимально приближается к абсолютной истине. Удобнее всего (хотя и не всегда правильно) считать именно так.

Определить степень шума в системе позволяет ревизия шумовых помех – своеобразный эксперимент, в ходе которого несколько профессионалов выносят независимые суждения по одному и тому же вопросу (реальному или вымышленному). Для измерения уровня шума не требуются знания об истинных значениях. Примерно так же мы сможем оценить разброс точности стрелков, посмотрев на мишень с обратной стороны. Ревизия шумовых помех способна измерить степень вариативности суждений в самых разных системах – от рентгенологии до уголовного правосудия. Порой подобная ревизия обратит наше внимание на недостаточность специфических навыков и неэффективность обучения. Возможна и количественная оценка – например, в случае, когда андеррайтеры, работающие в команде, расходятся в прогнозе уровня риска.

Какая из проблем важнее – шум или смещение? Все зависит от конкретной ситуации. И все же, скорее всего, верным ответом станет «шум». Смещение и шумовые помехи вносят равный вклад в итоговую ошибку (MSE), когда среднее значение ошибки (смещение) равно стандартному отклонению (шуму). При нормальном распределении суждений (колоколообразная кривая) влияние шума и смещения будет тождественно, если 84 % суждений находятся выше (или ниже) точки истинного значения. Смещение в данном случае будет существенным, и в профессиональных областях это нередко бросается в глаза. Если же смещение будет меньше величины одного стандартного отклонения, основным источником итоговой ошибки следует признать шум.

Шум – серьезная проблема

Вариативность как таковая не является проблемой при вынесении некоторых видов суждений; более того, она даже приветствуется. Разнообразие мнений дает импульс для появления новых идей и вариантов, нестандартное мышление – важнейший ресурс для инновационных идей. Разброс мнений в среде кинокритиков говорит лишь о присущей этой сфере особенности, но никак не об ошибке. Противоположные точки зрения трейдеров двигают рынки. Различные подходы к стратегиям в группе конкурирующих молодых предприятий позволяют рынкам выбрать наиболее достойное из них. Что же касается вопросов суждения – в данном контексте системный шум всегда проблематичен. Если два доктора ставят вам разные диагнозы, как минимум один из них не прав.

К написанию данной книги нас побудили удивительно широкое распространение системного шума и причиняемый им вред. Все куда серьезнее, чем принято думать. Мы приводили примеры из многих областей профессиональной деятельности – из бизнеса и медицины, криминалистики и прогнозирования, оценки эффективности персонала и политики. Отсюда наш вывод: там, где есть место суждению, найдется и шум – и его намного больше, чем вы думаете.

Огромная роль шума в совершаемых нами ошибках противоречит общему убеждению в том, что несистемные ошибки не имеют большого значения, если они взаимно уравновешивают друг друга. Это заблуждение! Бессмысленно заявлять, что пули, попавшие в разные сектора мишени, в среднем легли близко к «яблочку». Если один кандидат получил по итогам интервью завышенную оценку, а рейтинг другого, напротив, занизили – вы можете нанять не того человека, который вам требуется. Если завышен размер страховой премии по одному полису, а по другому, наоборот, занижен, обе ошибки дорого обойдутся страховой компании: одна заставит страховщика потерять свою долю рынка, вторая приведет к убыткам.

Подводя итог, скажем: если мнения разнятся без серьезных на то оснований, будьте уверены – в ваши рассуждения вкралась ошибка. Шум, безусловно, наносит вред и в тех случаях, когда истинность суждений не поддается проверке и ошибку невозможно вычислить. Несправедливо, когда к людям в одной и той же ситуации относятся по-разному. Система, внутри которой профессионалы не могут прийти к согласию, теряет доверие.