К разговору о групповых решениях

«Все зависит от того, удалось ли идее завоевать популярность на раннем этапе. Нужно хорошенько поработать, чтобы обеспечить нашему продукту отличный старт в первую же неделю».

«Как я и подозревал, успех идей в политике и экономике сродни успеху кинозвезд. Точки зрения, которые люди считают популярными у окружающих, способны распространиться достаточно широко».

«Меня всегда настораживал тот факт, что к концу обсуждения вся наша команда оказывается охвачена порывом единения и уверенности – и при этом ничто не способно заставить нас свернуть с выбранного пути. Похоже, в наших внутренних процедурах имеются какие-то изъяны».

Часть III

Шум в прогнозировании

Многие суждения по сути являются прогнозами, и поскольку качество поддающихся проверке прогнозов может быть выражено в цифрах, при их изучении мы много узнаем о шумовых помехах и смещении. В этой части книги мы уделим внимание прогнозированию.

В главе 9 сравнивается точность прогнозов, выполненных профессионалами, машинными методами и по простым правилам. И вас не удивит сделанный нами вывод, что профессионалы в этом соревновании занимают третье место. В главе 10 мы исследуем причины такого результата и покажем, что основным фактором низкого качества выносимых людьми оценок является шум.

Чтобы прийти к этим выводам, мы должны выразить качество прогнозов в цифрах, а для этого понадобится единица измерения точности прогнозирования. С ее помощью мы сможем ответить на вопрос: насколько близко прогнозы ковариируют (то есть соотносятся) с результатами? Если, например, кадровые агентства в плановом порядке оценивают потенциал новых сотрудников, мы можем подождать несколько лет, выяснить, как те работают, и проверить, насколько точно рейтинги ковариируют с фактическими показателями. Прогнозы точны, если сотрудники, чей потенциал был высоко оценен при приеме на работу, показали такие же высокие результаты в процессе трудовой деятельности.

Единицей измерения этого интуитивного сопоставления является процент согласия⁹² (ПС), который отвечает на более специфический вопрос. Допустим, вы принимаете на работу двух сотрудников, выбрав их случайным образом. Какова вероятность, что тот из них, кто получил более высокий балл при оценке потенциала, также лучше покажет себя в работе? При идеальной точности прогнозов ПС составит 100 % и ранжирование двух сотрудников по потенциалу позволит идеально предугадать эффективность их работы в будущем. А если прогнозы совершенно бесполезны, совпадение окажется таким же, как при случайном выборе, то есть вполне вероятно, что сотрудник с более высоким потенциалом не будет работать лучше: ПС составит 50 %. Данный пример был всесторонне изучен, и мы обсудим его в главе 9. Более простой случай: ПС при оценке соотношения длины стопы и роста для взрослых мужчин составляет 71 %. То есть если вы встретите двух мужчин разного роста, вероятность того, что у более высокого будет больший размер стопы, будет равна 71 %.

ПС как прямая, интуитивная мера ковариации весьма полезна, однако специалисты не используют ее в качестве стандартной единицы измерения. Стандартной единицей измерения является коэффициент корреляции (r), который находится в диапазоне от 0 до 1, когда две переменные положительно связаны. В предыдущем примере коэффициент корреляции между ростом и размером стопы составляет около 0,6.

Представить себе коэффициент корреляции можно разными способами. Вот один из них, интуитивно понятный: корреляция между двумя переменными – это процент общих для них определяющих факторов. Вообразим, например, что некоторый признак полностью определяется генетически. Мы ожидаем увидеть для этого признака корреляцию 0,5 между родными братьями и сестрами, у которых 50 % общих генов, и 0,25 между двоюродными, у которых 25 % общих генов. Мы также можем интерпретировать корреляцию 0,6 между ростом и размером стопы⁹³ как предположение, что 60 % фактора, определяющего рост, определяет и размер обуви.

Две вышеописанные единицы измерения ковариации непосредственно связаны друг с другом. В таблице 1 приведены значения ПС⁹⁴ для разных значений коэффициента корреляции. Далее в этой книге мы будем всегда указывать обе единицы измерения при обсуждении качества прогнозов, выполненных людьми и моделями.

Таблица 1. Коэффициент корреляции и процент согласия (ПС)

В главе 11 мы обсудим важную причину ограниченности прогнозов по точности, а именно тот факт, что большинство оценок выносится в состоянии, называемом объективной неосведомленностью, потому что многие обстоятельства, от которых зависит будущее, просто не могут быть известны. Поразительно, что мы обычно ухитряемся в упор не видеть эту ограниченность и давать прогнозы с уверенностью (а зачастую и с излишней самоуверенностью). И наконец, в главе 12 мы покажем, что объективная неосведомленность наносит ущерб не только нашему умению прогнозировать события, но даже и способности понимать их – а это существенная часть ответа на загадку, почему шумы так трудно разглядеть.

Глава 9

Оценочные суждения и модели

Многие заинтересованы в прогнозировании будущей результативности сотрудников при приеме на работу – как в своей фирме, так и в других. Именно потому этот процесс широко используется специалистами в качестве примеров. Возьмем двух сотрудниц крупной компании. При приеме на работу Моника и Натали были протестированы специализированной консалтинговой фирмой, которая оценила по шкале от 1 до 10 баллов их лидерские качества, коммуникативные навыки, навыки межличностного общения, профессионально-технические компетенции и мотивацию карьерного роста (таблица 2). Ваша задача – спрогнозировать эффективность их работы два года спустя по шкале от 1 до 10.

Таблица 2. Два кандидата на руководящую должность

Большинство людей, столкнувшись с подобным типом проблем, пробегают глазами каждую строку и выдают немедленный ответ, зачастую после подсчета в уме среднего количества баллов. Если вы поступите так, то, вероятно, сделаете вывод, что Натали является более сильным кандидатом: она получила на 1–2 балла больше Моники.