Вечная бета-версия

С чем связан успех суперпредсказателей? Вспомним аргументы, приведенные в главе 18. Мы имеем основания полагать, что подобные люди отличаются необычайными умственными способностями, и это соображение неошибочно. При прохождении тестов на GMA суперпредсказатели показывают результаты лучше, чем среднестатистический волонтер из проекта «Верное суждение» (а средний уровень такого волонтера выше, чем в среднем по США). В то же время разница не слишком существенна, и многие участники эксперимента, показавшие чрезвычайно хороший уровень во время тестирования, суперпредсказателями не стали. Помимо общего уровня интеллекта, мы также вправе ожидать, что суперпредсказатели являются исключительно хорошими математиками. Так оно и есть на самом деле. Однако главным их преимуществом являются вовсе не способности к математике, а та легкость, с которой наши герои включают аналитическое и вероятностное мышление.

Задумайтесь о готовности и способности суперпредсказателей структурировать задачу и разложить ее на отдельные элементы. Вместо того чтобы сразу сформулировать окончательное суждение по серьезному геополитическому вопросу (например, примет ли нация решение о выходе из Евросоюза, начнутся ли военные действия в определенной точке земного шара, состоится ли покушение на жизнь известного общественного деятеля), они разбивают вопрос на несколько компонентов. Мыслят суперпредсказатели следующим образом: «При каких условиях ответ будет утвердительным или отрицательным?» Суперпредсказатель не станет полагаться на интуицию или прозрение; он задаст себе несколько дополнительных вопросов и попытается найти на них ответы.

Суперпредсказатели превосходят обычных людей в способности смотреть со стороны и учитывать априорную вероятность. Как мы уже поясняли в отношении вопроса о Гамбарди в главе 13, прежде чем сосредоточиться на особенностях его случая, полезно было бы изучить данные о вероятности увольнения или ухода по собственному желанию среднестатистического наемного директора компании в течение двухлетнего периода. Суперпредсказатель систематически сверяется с априорной вероятностью. Если его спросят, случится ли в следующем году вооруженный конфликт между Китаем и Вьетнамом в связи с непримиримыми разногласиями, суперпредсказатель не станет зацикливаться на текущих отношениях между этими странами. Да, возможно, он читал новости и аналитику по данному вопросу и у него уже наготове интуитивный ответ, однако наш герой знает, что обычно интуиция – не лучший советчик. Поэтому он поищет информацию о том, как часто серьезные разногласия между странами выливались в вооруженные столкновения. Если войны случались крайне редко, суперпредсказатель встроит этот факт в свои рассуждения и лишь потом обратится к анализу текущей ситуации.

Проще говоря, суперпредсказателя отличает от его коллег не только чистый интеллект, но и способ его задействования. Умения, которыми владеет и успешно применяет наш герой, говорят о его когнитивном стиле, который, как мы рассказывали в главе 18, вероятно, послужит причиной для лучшего суждения, особенно если человек обладает активным открытым мышлением. Помните тест из главы 18? Он включает такие утверждения, как «Человек должен принимать во внимание истины, противоречащие его собственным убеждениям» и «Полезнее прислушиваться к людям, которые с тобой не согласны, нежели к тем, кто поддерживает твою точку зрения». Понятно, что человек, который наберет высокий балл по итогам подобного теста, не стесняется корректировать свои суждения (не доходя до абсурда), если ему становится доступна новая информация.

Характеризуя стиль мышления суперпредсказателей, Тетлок использует выражение «вечная бета-версия», которое частенько встречается в сленге программистов. Обычно так говорят о программе, которую уже не планируют выпускать в следующей версии. Вместо этого ее бесконечно используют, анализируют и совершенствуют. Тетлок выяснил, что «сильнейшим сигналом²⁸², свидетельствующим о том, что человек станет суперпредсказателем, является как раз такая встроенная «вечная бета-версия», определяющая степень готовности к самосовершенствованию и корректировке собственных убеждений». Тетлок говорит: «Что делает его настолько сильным? Не то, кем он является, а то, как он работает: усердно исследует, тщательно думает и ничего не имеет против самокритики, запоминает и анализирует другие точки зрения, детализирует свои суждения и не стесняется их обновлять». Суперпредсказатель любит мыслить циклически. Его кредо: пытаться, терпеть неудачи, анализировать²⁸³, корректировать и снова пытаться.

Шум и смещение в прогнозировании

Прочитав предыдущий раздел, вы, скорее всего, начали склоняться к мысли, что человека можно научить быть суперпредсказателем или, во всяком случае, помочь ему приблизиться к высокому уровню. В самом деле Тетлок и его соратники именно над этой проблемой и работали, и их усилия следует считать второй стадией исследования, заключающейся в решении двух вопросов: что делает суперпредсказателей настолько эффективными? Как заставить их работать еще лучше?

В ходе важнейшего эксперимента команда Тетлока произвольно разделила обычных (невыдающихся) прогнозистов на три группы, в которых тестировались различные методы улучшения качества суждений. Данные методы представляют собой три стратегии улучшения суждений, которые мы уже описали выше.

1. Обучение: несколько прогнозистов прошли курс обучения, направленный на улучшение их способностей, в ходе которого им преподавали основы вероятностных рассуждений. Прогнозисты узнали о различных типах искажений (в том числе о пренебрежении априорной вероятностью, чрезмерной уверенности и заданности восприятия), усвоили важный принцип усреднения прогнозов, поступивших из различных источников, и обучились учету сопоставимой информации.

2. Командная работа (одна из форм обобщения): нескольких прогнозистов попросили работать в группах, предоставив им возможность прислушиваться к прогнозам коллег и обсуждать их. Командная работа имеет свойство повышать точность прогноза, поощряя участников группы анализировать мнения оппонентов и стимулируя развитие активного открытого мышления.

3. Отбор: каждый из прогнозистов получал балл за точность прогноза, и через год исследователи выбрали 2 % лучших суперпредсказателей. В течение следующего года они уже работали совместно в особых элитных группах.

В итоге выяснилось, что каждая из трех стратегий по-своему результативна. Как минимум участники всех трех групп продвинулись по шкале Брайера. Обучение позволило добиться разницы по сравнению с ранее достигнутым уровнем, командная работа эту разницу увеличила, а отбор дал еще больший эффект.

Ценные результаты, полученные в процессе исследования, подтвердили значимость метода обобщения суждений и выбора лучших судей. Однако на этом история не закончилась. Опираясь на информацию об эффекте каждой из стратегий, Вилле Сатопаа, ранее сотрудничавший с Тетлоком и Меллерс, разработал сложный статистический метод²⁸⁴, позволяющий выяснить, как именно каждый из трех подходов влиял на улучшение качества суждений. В принципе, рассуждал он, существуют три основные причины, по которым некоторые прогнозисты отличаются от своих коллег в лучшую или худшую сторону:

1. Хороший прогнозист имеет отличные навыки поиска и анализа информации из внешней среды, представляющей ценный источник для формирования прогноза. Стало быть, здесь мы говорим о важности информации.

2. Некоторые прогнозисты проявляют общую склонность к ошибкам в определенных аспектах достоверности прогноза. Если прогнозист сделает сотню прогнозов и в каждом из них допустит системную ошибку в части недооценки или переоценки возможности некоторых изменений статус-кво, мы, в зависимости от направления его ошибок, скажем, что на данного специалиста оказывает влияние определенная форма когнитивного искажения.

3. Некоторые прогнозисты менее подвержены воздействию шума (реже допускают случайные ошибки). В области прогнозирования, как и при вынесении любого иного суждения, существуют многочисленные механизмы, запускающие шумовой фон. Прогнозисты могут проявлять чрезмерную реакцию на какую-либо новость (это и есть пример внутриэкспертного шума), могут быть подвержены и влиянию шума ситуативного. При работе со шкалой вероятностей на таких специалистов могут воздействовать шумовые помехи. Направление и масштаб каждой ошибки (а мы перечислили лишь некоторые из них) непредсказуемы.

Сатопаа, Тетлок, Меллерс и их коллега Марат Салихов выделили для себя три основных компонента, присущих прогнозированию: искажение, информацию и шум. Перед исследователями стояла задача: измерить, как ведут себя данные компоненты при оптимизации эффективности в разрезе каждой из трех стратегий. Модель получила название «BIN».

Ответ оказался простым: каждая из трех стратегий в первую очередь работала на снижение шума. Ученые отметили: «В тех случаях, когда применяемые меры²⁸⁵ улучшали точность, их эффект складывался в основном за счет нейтрализации возможности случайных ошибок в суждениях. Любопытно, что изначальной целью стратегии обучения было уменьшить смещение».

Итак, поскольку обучающий метод был нацелен на искажения, прогнозист средних способностей предсказал бы, что основным достижением примененного подхода станет уменьшение смещения, и оказался бы не прав: тренинги уменьшили шум. Неожиданный поворот вполне объясним. Обучающий метод Тетлока был направлен на нейтрализацию психологических искажений, которые, как мы уже знаем, не всегда приводят к статистическому смещению. Допустим, разные люди в ходе дискуссии выносят разные суждения, прибегая к различным подходам. В каждом случае срабатывают психологические искажения, внося шум в итоговый результат. Подобный эффект мы наблюдаем и здесь, поскольку прогнозируемые события крайне разнообразны. В зависимости от темы искажения заставляют аналитика недооценивать или переоценивать вероятность. Статистического смещения, которое стабильно заставляет прогнозиста полагать, что определенные события наверняка произойдут (или, напротив, не произойдут), в данном случае ожидать не приходится. В результате обучение прогнозистов методам борьбы с психологическими искажениями как раз и приводит к снижению шума.

Метод командной работы лучше подавляет шум, нежели метод обучения и в то же время значительно улучшает способность команды извлекать необходимую для суждения информацию. Результат в данном случае согласуется с логикой метода обобщения: коллективный мозговой штурм дает больше возможностей для обнаружения значимых данных, чем работа в одиночку. Допустим, условные Элис и Брайан работают в команде, и Элис замечает сигнал, пропущенный напарником. В итоге их совместный прогноз окажется лучше. Судя по всему, при работе в группе суперпредсказателям удается избегать риска групповой поляризации и влияния информационных каскадов. Напротив, они обобщают интуитивные догадки и добытые каждым из них данные, извлекая максимум из имеющейся информации за счет применения активного открытого мышления. Сатопаа и его коллеги объясняют данный эффект так: «Командная работа, в отличие от обучения…²⁸⁶ позволяет прогнозистам не идти на поводу у информации».

Оптимальный итоговый результат показал метод отбора. Частично его успех объясняется более умелым использованием информации. Суперпредсказатели лучше среднестатистических участников эксперимента владеют методами поиска значимых данных – либо за счет более острого ума, либо более сильной мотивации и богатого опыта в формировании прогнозов требуемого типа. Повторим: основным достижением метода отбора стало снижение шумового фона. Суперпредсказатели, в отличие от среднего прогнозиста или даже обученной команды, действительно производят меньше шума. Данный вывод также стал откровением для Сатопаа и других исследователей: «Суперпредсказатели, вероятно, обязаны своим успехом²⁸⁷ более жесткой фильтрации возможных погрешностей оценки, нежели более внимательному чтению новостей». Очевидно, их среднестатистический коллега на такое не способен.