Разновидности шума

Системный шум разбивается на межэкспертную и внутриэкспертную составляющие. Некоторые судьи более суровы, чем их коллеги, другие более снисходительны; некоторые аналитики в основном придерживаются «бычьего» прогноза в отношении перспектив рынка, другие же чаще дают «медвежий»; кто-то из докторов гораздо чаще коллег выписывает антибиотики. Межэкспертный шум является вариативностью среднего суждения, выносимого разными лицами. Разные виды личной шкалы оценки – одна из причин межэкспертного шума. Определение «весьма вероятно» или оценка «4» по шестибалльной шкале для разных людей будут иметь разное значение. Межэкспертный шум является важнейшим источником ошибок в системах суждений и одной из приоритетных целей для мероприятий, направленных на снижение шума.

Системный шум включает в себя еще один компонент, который, как правило, встречается чаще других. Независимо от среднего значения своих суждений, судьи, отступая от личной средней модели, выделяют для себя виды преступлений, заслуживающих наиболее сурового приговора. Соответственно, их решения о вынесении приговора создают различные системы ранжирования. Подобную вариативность мы называем внутриэкспертным шумом (в статистике это зовется взаимодействием).

Главный источник внутриэкспертного шума исключительно стабилен и представляет собой разницу в уникальных личностных реакциях судей на определенные обстоятельства. В какой-то части подобные различия связаны с системой принципов или ценностей, которых придерживается (не всегда осознанно) человек. Например, один судья может крайне сурово относиться к магазинным воришкам и на удивление снисходительно – к нарушителям правил дорожного движения, а его коллега наоборот. Некоторые из этих исходных принципов и воззрений могут быть достаточно сложны для восприятия, и сам судья не всегда осознает движущие им мотивы. Например, судья безотчетно проявляет относительную мягкость, вынося приговор пожилому налетчику. Личная реакция на конкретный случай также может носить стабильный характер. Ответчица, напоминающая судье его собственную дочь, вполне способна заставить судью регулярно проявлять к ней сочувствие.

Стабильный внутриэкспертный шум говорит об уникальности каждого судьи: индивидуальна их личность, индивидуальна и реакция на определенные дела. Неуловимые различия между людьми – интересная и познавательная тема, однако подобные различия становятся критическими, когда профессионалы работают в системе, требующей согласованности. Те исследования, с которыми мы ознакомились, определяют стабильный внутриэкспертный шум, возникающий вследствие подобных индивидуальных различий, как главнейший источник системного шума.

И все же четко выраженное личное отношение судей к конкретным делам не может характеризоваться идеальной стабильностью. Внутриэкспертный шум включает в себя еще одну переменную, которую мы назвали ситуативным шумом. Данную разновидность шумовых помех мы обнаружим у рентгенолога, который в разные дни недели даст отличающиеся друг от друга описания одного и того же снимка, и у криминалиста, который сегодня отметит идентичность отпечатка пальца с контрольным образцом, а завтра заявит, что они не совпадают. Приведенные примеры показывают, что ситуативный шум легко выявляется, когда эксперт приходит к различным мнениям об одном и том же случае. Есть и другой пример, доказывающий, что ситуативный шум существует: судья будет более мягок после того, как его любимая футбольная команда накануне одержала победу, а врач прописывает больше опиоидов пациентам, приходящим на прием после обеда.

Психология суждений и влияние шума

Когнитивные изъяны – не единственная причина ошибок при вынесении экспертами прогнозных суждений. Более существенную роль часто играет объективная неосведомленность. Ответы на некоторые вопросы попросту не имеют обоснованных правильных ответов. Сколько внуков будет через семьдесят лет у человека, который родился вчера? Сможете назвать номер выигрышного билета лотереи, розыгрыш которой состоится в следующем году? Другие вопросы имеют четкие ответы, однако судье они могут быть неизвестны. Чрезмерная уверенность в сделанном прогнозе выливается в недооценку объективной неосведомленности и присущих человеку когнитивных искажений.

Существует предел точности прогнозов, и наши способности в этом смысле чаще всего серьезно ограничены. Тем не менее мы, как правило, вполне удовлетворены собственными суждениями. Подобное чувство внушает нам внутренний сигнал, сообщающий нам об удачной интеграции фактов в суждение. Субъективная уверенность в собственном суждении необязательно свидетельствует о его объективной точности.

Большинство людей удивится, услышав, что точность их прогностических суждений не просто низка, но еще и уступает механическому обобщенному прогнозу. Даже простейшие линейные модели, построенные на ограниченном объеме информации, или примитивное правило, которое можно набросать «на коленке», стабильно превосходят ваш спонтанный прогноз. Правила и модели избавлены от шума – и в этом их решающее преимущество. Наш субъективный опыт говорит, что суждение – тонкий и сложный процесс, однако указаний на то, что за шум отвечают именно тонкости, мы не видим. Сложно представить себе, что безусловная приверженность к простым правилам чаще дает больший процент точности, чем наш спонтанный подход, и все же на сегодняшний день этот факт не подлежит сомнению.

Психологические искажения, безусловно, являются источником систематических ошибок, иными словами, статистического смещения. Менее очевиден тот факт, что они еще и источник шума. Если искажению подвержены не все судьи или подвержены в разной степени, если влияние искажения зависит от внешних обстоятельств, – именно в таких условиях психологические искажения порождают шум. Например, половина менеджеров, отвечающих за подбор персонала, испытывает предубеждение против найма женщин, а другая половина, напротив, серьезно склоняется в пользу женского персонала. В итоге искажения нейтрализуются, однако системный шум вызовет множество ошибок в окончательных решениях. В качестве другого примера приведем непропорциональное влияние первого впечатления. Это тоже психологическое искажение, однако, если данные о кандидате каждый раз поступают в произвольном порядке, в результате мы столкнемся с ситуативным шумом.

Мы описали процесс формирования суждения как произвольную интеграцию некоторого набора сигналов, которые в итоге определят место суждения на шкале оценки. Устранение системного шума потребует от судей согласованного подхода к толкованию таких сигналов, применения к ним идентичных весов и единообразного размещения итога на шкале оценки. Даже без учета произвольного воздействия ситуативного шума подобные условия достижимы крайне редко.

Высокой степени согласованности часто удается достигнуть в суждениях по одному отдельно взятому параметру. Разные менеджеры по найму нередко проявляют единодушие, оценивая, кто из двух кандидатов обладает большей харизмой или большей работоспособностью. Общий интуитивно обусловленный процесс сопоставления по наиболее выраженным характеристикам способствует формированию идентичных суждений. В пример приведем отбор людей с высокой средней успеваемостью, научившихся читать в раннем детстве. Также высок уровень совпадения суждений, опирающихся на небольшое количество фактов, указывающих в одном направлении.

Серьезные индивидуальные расхождения возникают в случаях, когда для вынесения суждения требуется взвешивание множественных конфликтующих друг с другом сведений. Разговаривая с одним и тем же кандидатом, первый менеджер по найму посчитает более значимым наличие высоких умственных способностей и харизмы, второй же отдаст приоритет трудоспособности и стрессоустойчивости. В ситуации, когда факты не согласуются и не интегрируются в единое целое, каждый из нас неизбежно отдаст предпочтение одному из них (или нескольким) и проигнорирует остальные. В результате возникнет внутриэкспертный шум.