Я предсказываю!
В начале 1960-х годов шоумен, которого называли «удивительным Крисвеллом», был частым гостем телевизионных и радиошоу. Работа Крисвелла заключалась в том, чтобы делать эпатажные заявления, сопровождаемые эффектной фразой: «Я предсказываю!» Среди многочисленных его прогнозов было, в том числе, предупреждение о том, что к 1980 году Нью-Йорк уйдет под воду, в 1981 году штат Вермонт подвергнется ядерному удару, а в 1989 году Денвер будет разрушен в результате стихийного бедствия. Действия Крисвелла были чистой аффектацией, но публике это нравилось. Но вот чего Крисвелл не смог предсказать, так это того, что его собственная карьера к концу 1960-х сойдет на нет и закончится несколькими маленькими ролями в низкобюджетных фильмах сексуальной тематики, снятых его другом, Эдвардом Д. Вудом-младшим, удостоенным звания «самого худшего режиссера всех времен».
Прогнозы – проблема для экспертов. Это то, чего хочет публика, но в чем обычно не особо сильны эксперты. Потому что они и не должны быть в этом сильны: цель науки – объяснять, а не предсказывать. И все же прогнозы, как и вступление на чужую территорию, довольно привлекательны для экспертов.
Эксперты и обычные люди одинаково убеждены в том, что в силу того, что эксперты лучше других разбираются в каком-то предмете, у них больше опыта в том, что касается прогнозов. Если говорить об экспертах в области точных наук, то уверенность в их правоте сильнее, так как они пользуются экспериментальными методами для определения тех условий, при которых физический мир будет функционировать так, как они ожидают. Когда происходят непредсказуемые вещи, у ученых появляется новая отправная точка для исследования. Как сказал покойный писатель-фантаст (и профессор биохимии) Айзек Азимов, словами, которые подтолкнули к величайшим научным прорывам, вероятно, были не «эврика!», а «вот это да! Как любопытно!»
Но некоторые эксперты с радостью берутся делать прогнозы и даже получают за это приличное вознаграждение. Так, например, социологи предлагают свои услуги кандидатам от политических партий и владельцам СМИ, в то время как маркетологи рекламируют новые услуги и продукты. История социологических опросов берет свое начало еще с 1936 года, когда журнал The Literary Digest предсказал, что Альф Лэндон победит Франклина Рузвельта (опираясь, преимущественно, на мнение своих собственных читателей). Сегодня изучение общественного мнения – это наука, со своими собственными экспертами и журналами. Отдельные социологи – это партийные активисты, корректирующие цифры под нужные результаты. Однако за плечами большинства из них опыт работы в области статистики и владение методами, которые позволяют им в целом делать довольно точные прогнозы.
Прогнозы – проблема для экспертов. Это то, чего хочет публика, но в чем обычно не особо сильны эксперты. Потому что они и не должны быть в этом сильны: цель науки – объяснять, а не предсказывать.
Но в тех случаях, когда авторы социологических опросов и рыночных исследований ошибаются в чем-то, случаются довольно серьезные проколы. Попытка корпорации Coca-Cola вывести на рынок New Coke в 1980‐х годах обернулась такой катастрофой, что само название New Coke стало нарицательным. Если говорить о недавних событиях, то политологи и эксперты ошиблись в итогах выборов в первые годы двадцать первого века, включая результаты промежуточных голосований на выборах в Соединенных Штатах в 2014 году и на всеобщих выборах 2015 года в Великобритании.
На самом деле опрос, проведенный среди социологов в 2015 году, показал, что они были уверены в том, что их репутации подпорчены этой цепью просчетов. Кто-то из них чувствовал, что это результат предвзятости СМИ (для которых интереснее осветить провал, чем успех), а кто-то признавался, что технологические и демографические изменения делают точный прогноз результатов выборов намного более сложной задачей. «Неверные прогнозы гораздо интереснее сбывшихся», – сказала социолог Барбара Карвальо в интервью для сайта FiveThirtyEight (сайту, посвященному непосредственно опросам). Но в 2015 году специалист по опросам общественного мнения Мэтью Тауэри признался, что «очевидно, что за прошедшие три года произошло несколько серьезных катастроф».
Проблема в данном случае заключается не столько в прогнозировании результатов голосования – чья точность ограничена участием реальных людей – сколько в том, чего люди ожидают от этих прогнозов. Опросы общественного мнения не гарантия будущих результатов. На мнение людей может повлиять множество вещей, от непредсказуемых событий до рекламных акций. Как в почти любой экспертной области знаний, степень компетентности заключается в общей тенденции и в том, насколько тщательно эксперты изучают свои ошибки. Точно так же на каждую New Coke найдутся тысячи примеров успешного выпуска новой продукции и точных рекламных прогнозов. Но как это всегда бывает, людям свойственно помнить ошибки – особенно если им не понравились результаты – и игнорировать гораздо более многочисленные случаи успеха.
Люди слишком многого ждут от экспертных прогнозов, хотя некоторые эксперты готовы и дальше торговать своими способностями предсказывать события. На протяжении нескольких десятилетий профессор политологии Брюс Буэно де Мескита использовал «свой личный софт», чтобы делать прогнозы о событиях в мире как для широкой общественности, так и для частных клиентов. В числе клиентов его фирмы, просуществовавшей более тридцати лет, были и сотрудники ЦРУ. В исследовании, проведенном данным ведомством в 1993 году, было указано, что из сотен его прогнозов он «попадал в яблочко» в два раза чаще, чем их собственные аналитики.
Другие эксперты не могли проверить утверждения Буэно де Мескиты, так как его методы и модели защищены правом коммерческой собственности и не были широко представлены в виде опубликованных работ. Как отмечалось в досье New York Times в 2009 году:
«Несмотря на то что Буэно де Мескита опубликовал множество своих прогнозов в академических журналах, бо́льшая их часть была сделана в условиях секретности для корпоративных или правительственных клиентов, а потому ни один независимый эксперт из академической среды не может проверить их достоверность. «Мы понятия не имеем, прав ли он в 9 случаях из 10 или в 9 из сотни или в 9 из тысячи», – говорит профессор из Гарварда Стивен Уолт.
Уолта также не впечатлило исследование ЦРУ, согласно которому Буэно де Мескита оказывался прав в 90 процентах случаев. «Сотрудник ЦРУ среднего звена говорит: «Это удобный инструмент», – замечает Уолт.
«Это совсем не то же самое, как когда-то Брент Скоукрофт говорил: «В администрации Буша мы не принимали ни одного решения, не проконсультировавшись с Буэно де Мескита».
Но, несмотря на то, что точность оценок Буэно де Мескита не проверишь, самое главное здесь то, что существует значительный спрос на его прогнозы. Организации, у которых многое поставлено на карту – жизнь, деньги или и то и другое – неизбежно прибегают к поискам информации, прежде чем рисковать. Эксперт, который утверждает, что он или она может заглянуть в будущее, всегда будет более востребован, чем тот, кто предлагает более ограниченную помощь.
Таким консультантам, как Буэно де Мескита, платят за то, чтобы они предсказывали ход событий, и клиенты вольны оценивать их работу. Но другие эксперты и интеллектуалы тоже дают прогнозы, и многочисленные промахи в их прогнозах существенно подорвали доверие общества к ученым и профессионалам. Когда люди, которые не предвидели развала Советского Союза – или обещавшие, что масштабная война с Ираком станет легкой победой – пробуют в очередной раз дать совет в том, что касается жизненно важных решений, то скептицизм публики вполне понятен.
Если мы отложим в сторону вопрос о том, должны ли эксперты делать прогнозы, мы все равно никуда не денемся от другой проблемы – они все-таки делают прогнозы, и их прогнозы зачастую поразительно плохи. В ставшем широко известным исследовании событий типа «черный лебедь» – непредвиденные моменты, которые способны изменить ход истории – Нассим Николас Талеб порицал «эпистемическую самонадеянность» самого процесса прогнозирования.
«Но мы ведем себя так, как будто можем предсказывать исторические события или, что еще хуже, способны изменить ход истории. Мы строим планы относительно дефицита бюджета социального обеспечения и цен на нефть сроком на 30 лет, не осознавая того, что не можем предсказать этого даже на следующее лето.
Наши совокупные ошибки в прогнозах политических и экономических событий настолько чудовищны, что каждый раз, когда я смотрю на шарлатанские отчеты, мне приходится щипать себя, чтобы убедиться, что это не сон».
Предупреждение Талеба о постоянстве неопределенности – важное замечание. Но его настаивание на бесполезности прогнозов непрактично. Человек никогда не сдастся и не откажется от любой возможности применить экспертные знания в качестве упреждающей защиты от потерь.
Вопрос не в том, следует ли экспертам заниматься прогнозированием. Они будут это делать. То общество, в котором они живут, и те лидеры, которые им управляют, попросят их сделать это. Скорее, вопрос заключается в том, когда и как эксперты должны давать прогнозы, и что делать, когда они оказываются ошибочными.
В 2005 году ученый Филип Тетлок собрал информацию об экспертных прогнозах в области социологии и обнаружил то, что подозревали многие: «Когда мы сравниваем экспертов с дилетантами, с обезьянами, делающими прогнозы с помощью дартс, или алгоритмами экстраполяции, мы находим мало доказательств того, что экспертные знания означают бо́льшую способность делать хорошо выверенные или проницательные прогнозы». Эксперты, похоже, ничем не лучше в предсказании будущего, чем колесо рулетки. Первоначальные находки Тетлока подтвердили подозрение многих обычных людей, что эксперты на самом деле не знают, что они делают.
Но подобная реакция на работу Тетлока была классическим случаем непонимания обычными людьми сути экспертного знания. Как отмечал сам Тетлок, «крайне настроенные скептики приветствуют эти результаты, но они приходят в замешательство, когда мы начинаем находить последовательные модели в том, кто что понял правильно. Крайний скептицизм говорит нам не ожидать ничего… Но данные исследования продемонстрировали больше последовательности в заявлениях прогнозистов, чем можно было списать на чистую случайность».
Тетлок на самом деле сравнивал экспертов не со всеми остальными людьми, а лишь с базовыми целевыми ориентирами, в особенности с предсказаниями других экспертов. Вопрос заключался не в том, были ли эксперты так же плохи в прогнозировании, как все прочие. А в том, почему отдельные эксперты предсказывают лучше других. И это вопрос совсем иного рода. Или, как Джеймс Суровецки (автор фразы «мудрость толп») заметил, что важность «когнитивного разнообразия» – когда множество взглядов бывает лучше одного – вовсе не означает, что если «вы соберете группу разных, но абсолютно неинформированных людей, их коллективная мудрость будет ценнее мудрости эксперта».
На самом деле Тетлок обнаружил не то, что эксперты были ничем не лучше случайных предсказателей, а то, что отдельные эксперты лучше применяют свои знания к гипотетическим суждениям, чем их коллеги. Тетлок применил сравнение, которое использовал британский мыслитель Исайя Берлин – между «ежами и лисами» – чтобы разграничить экспертов, чьи знания были широкими и всеохватными («лиса знает многие вещи»), от тех, чьи знания узки и глубоки («еж знает много, но об одном»). Исследование Тетлока это одна из важнейших работ, посвященных способу мышления эксперта, и она заслуживает полного прочтения. Но в целом одну из самых интересных его находок можно кратко сформулировать так, что в сложном процессе перехода экспертов от объяснения к прогнозу, «лисы», как правило, превосходят «ежей» по многим причинам.
Так, например, «ежи» были склонны чрезмерно концентрироваться на обобщении своих специфических знаний применительно к тем ситуациям, которые находились вне сферы их компетенции. А у «лис» лучше получалось использовать новую информацию и менять свои взгляды, сталкиваясь с новыми или более качественными данными. «Самокритичность и умение взвешивать все «за» и «против», обнаружил Тетлок, «помогали им избегать чрезмерного азарта в прогнозировании, который демонстрировали «ежи», в особенности хорошо информированные».
Технические эксперты – само воплощение «ежей» – столкнулись с серьезными трудностями не только в плане прогнозирования, но также и в умении проанализировать информацию, не связанную с их профессиональной деятельностью. Люди с четко ограниченной областью знаний обладают малым количеством инструментов, не относящихся к сфере их специализации. А потому они инстинктивно берут то, что знают, и применяют это обобщенно к тому, что выходит за рамки их компетенции, и не важно, насколько хорошо подходят данные методы к исследуемому предмету. В результате получаются более уверенные прогнозы, но чаще всего они оказываются неверными, в основном потому, что ученые, как классические «ежи», сталкиваются с трудностями, получая и анализируя информацию, выходящую за рамки их очень узкой, но крайне сложной специализации.
В сложном процессе перехода экспертов от объяснения к прогнозу, «лисы», как правило, превосходят «ежей» по многим причинам.
Из всего этого можно извлечь несколько уроков – не только экспертам, но и обычным людям, которые оценивают – и даже оспаривают – прогнозы экспертов.
Самое главное, что ошибочные прогнозы не играют большой роли в плане оценки профессиональной компетентности. Эксперты обычно включают в свои прогнозы необходимые предостережения, так как мир полон непредвиденных случайностей, последствия которых учесть невозможно. Историю могут изменить зависящие от других факторов события, такие как сердечный приступ или ураган. Непрофессионалы обычно игнорируют эти предупреждения, несмотря на их важность, так же как они игнорируют местный прогноз погоды, обещающий дождь с вероятностью 70 процентов. А когда случается солнечный день – с шансами три из десяти – они считают, что метеоролог ошибся.
Это не означает, что мы должны спускать экспертам – особенно экспертному сообществу – с рук их крупные просчеты. И хоть ни один эксперт по Советскому Союзу не смог в 1970-х годах предсказать развал СССР к 1991 году, консолидация экспертных позиций вокруг противоположной точки зрения – что крушение советского государства было практически невозможно – это крупная ошибка, которая должна была бы испортить репутацию этой области исследований. (К сожалению, дело обстоит в точности противоположным образом: на протяжении двадцати лет большинство экспертов по России избегали того, чтобы разбираться в причинах ошибок друг друга.)
Однако ошибочные прогнозы не лишают экспертов автоматически права знать больше дилетантов. Непрофессионалам не следует тут же делать вывод, что ошибка экспертов означает, что все мнения одинаково ценны (или в равной степени бесполезны.) Социолог Нейт Сильвер, который заработал себе авторитет благодаря удивительно точному прогнозу исхода президентских выборов 2008 и 2012 годов, впоследствии признался, что его прогнозы относительно кандидата от республиканцев Дональда Трампа в 2016 году были основаны на неточных суждениях. Но понимание Сильвером тонкостей предвыборной борьбы бесспорно, даже несмотря на то, что феномен Трампа удивил его и остальных экспертов. Как написал колумнист Ноах Ротман, «Трамп продемонстрировал то, что все те многочисленные правила, которые годами изучали профессиональные политологи, не сработали в этот год. Но фраза «все, что мы знали о политике, было ошибочным» не означает «мы ничего не знаем о политике».
Призывать экспертов к ответу за то, что они дали худшие прогнозы по сравнению с другими экспертами – это совсем другое дело. Но формулировать предлагаемые экспертам вопросы так, что они допускают в качестве ответа только «да» или «нет», а потом отмечать, что обычные люди оказываются правы так же часто, как эксперты, это означает глубоко заблуждаться относительно роли экспертного знания в обществе. В действительности, задавать экспертам вопросы, не требующие развернутого ответа, означает дать им возможность уйти от ответственности за ошибки. Есть старый анекдот о британском государственном чиновнике, который ушел на пенсию, проработав в Министерстве иностранных дел несколько десятилетий. «Каждое утро, – рассказывал опытный дипломатический работник, – я шел к премьер-министру и уверял его в том, что мировой войны сегодня не будет. И мне приятно отметить, что за 40 лет своей карьеры я ошибся лишь дважды». Если судить чисто по количеству попаданий в цель и количеству промахов, то у старика очень приличный послужной список.
Цель совета или прогноза эксперта не угадать, какой стороной выпадет монета, а помочь принять решения, спрогнозировав возможный ход развития событий. Задать в 1980 году вопрос, прекратит ли существование Советский Союз до 2000 года, означало бы интересоваться простым прогнозом типа «да/нет». Спросить примерно в это же время, каким образом лучше всего обеспечить мирный распад СССР и повлиять на вероятность такого исхода (вернее, снизить вероятность всех прочих исходов) – совсем другое дело.
Учитывая мой собственный прошлый опыт работы в области советологии, внимательный читатель может в этот момент задуматься о том, был ли я частью того сообщества экспертов, которые неверно оценили ход развития событий, или я просто кидаюсь бумажными шариками с задних рядов класса? Справедливый вопрос.
Я не ошибся в отношении развала Советского Союза – но только потому, что у меня изначально не было возможности ошибиться. Я окончил магистратуру в конце 1988 года, когда уже было ясно, что процесс распада СССР начался. Но прошло еще десять лет, прежде чем я сделал свой собственный вопиюще неверный прогноз касательно российской политики. Мне знакомы все опасности ошибочных прогнозов, потому что я сам сделал такой прогноз, за что и должен отвечать.
Фраза «все, что мы знали о политике, было ошибочным» не означает «мы ничего не знаем о политике».
В начале 2000 года я написал, что появление нового российского лидера, никому не известного чиновника Владимира Путина, может стать реальным шагом в сторону дальнейшей демократизации России. Конечно же, я сильно ошибался. Путин оказался диктатором и продолжает оставаться угрозой глобальному миру. Вопрос «почему» я ошибался, остается той темой, которая занимает мои мысли и втягивает в дискуссии с коллегами, особенно с теми, кто разделяет мои взгляды. Были ли мы одурачены Путиным в 2000 году? Или же были правы, сохраняя оптимизм: просто сам Путин изменился, а мы не заметили этого? А может быть, что-то произошло внутри Кремля, настолько незаметное для сторонних наблюдателей, что заставило российского лидера встать на путь единовластия и международной агрессии?
Для обычного человека это не имеет особого значения – да и не должно иметь. Когда меня вынуждали высказать свою точку зрения по поводу политики Путина (как и большинство тех, кто занимался вопросами сотрудничества с Россией), я придерживался определенного мнения, не прикрываясь более деликатным, но менее интересным суждением, что еще слишком рано об этом говорить. Но, рассуждая о попытках разобраться в том, что происходит сегодня в России, можно ли считать, что моя катастрофичная ошибка в прогнозе, сделанная почти двадцать лет назад, сводит на нет мой анализ и оценки? Можно ли сказать, что я способен обсуждать мотивы поступков Путина не лучше, чем хорошо начитанный дилетант?
Я ошибался в оценке Путина, но факт остается фактом – обычному человеку будет не по зубам объяснить все сложности российской политики или даже освоить теоретические азы данного предмета. Вопрос, почему я и другие эксперты ошибались, важен не в последнюю очередь потому, что он заставляет нас пересмотреть наши убеждения и активно спорить, а также корректировать себя. Это обязанность любого экспертного сообщества. Огромное количество людей были пессимистично настроены в отношении Путина, но в какой-то мере это не более чем рефлексивная русофобия или попытка строить догадки, а обе эти вещи – никчемные советчики в политике. Не подкрепленное данными суждение, даже когда оно оказывается верным, зачастую бывает менее пригодным, по сравнению с обоснованной точкой зрения, даже если она ошибочна: ее можно проанализировать, изучить и скорректировать.
