Малые данные и разум
Эти три правила – правило умножения вероятностей, правило расчета средней вероятности и правило сложения вероятностей – применимы к широкому спектру повседневных бытовых ситуаций. И из этих ситуаций можно выйти удивительно удачно, просто выбрав нужное правило. В аспирантуре Том вместе с Джошем Тененбаумом из Массачусетского технологического института провел эксперимент, прося разных людей делать прогнозы относительно различных повседневных вещей (таких как продолжительность жизни, сборы фильма в прокате или время, которое американский политик занимает свою должность), опираясь в каждом случае на один-единственный показатель: возраст на данный момент, заработанные к настоящему времени деньги, стаж работы на сегодняшний день. Затем они сравнили прогнозы, сделанные людьми, с прогнозами, полученными в результате применения правила Байеса к фактическим реальным данным по каждой из этих областей.
Как выяснилось, прогнозы участников эксперимента были весьма близки к прогнозам согласно правилу Байеса. Интуитивно люди делали различные варианты прогнозов для значений, следующих разным режимам распределения: экспоненциальному, нормальному или распределению Эрланга. Иными словами, если вы не знаете или не можете вспомнить, под какое из правил вероятности подпадает ваша ситуация, то ваши ежедневные прогнозы, как правило, отражают различные случаи возникновения этих распределений в жизни и разные пути их функционирования.
В свете того, что мы знаем о правиле Байеса, эта удивительная человеческая способность подталкивает нас к важным выводам, которые помогают понять, как же люди делают прогнозы. Малые данные – это, по сути, скрытые большие данные. Причина, по которой нам часто удается делать точные прогнозы на основе лишь нескольких наблюдений (или вовсе единственного), кроется в том, что наши априорные вероятности весьма высоки. Осознаем мы это или нет, но в наших головах скрываются удивительно точные априорные прогнозы о кассовых сборах фильмов и продолжительности показов, о длине стихотворений и сроке политических полномочий, не говоря уж о продолжительности жизни. Нам не приходится собирать эти данные в явном виде, мы впитываем их из окружающего мира.
Тот факт, что наши прогнозы в целом соответствуют прогнозам по правилу Байеса, также дает нам возможность декомпилировать все виды априорных распределений, включая те, о которых сложно получить надежные данные. Например, висение на проводе в попытке дозвониться в службу клиентской поддержки – это прискорбно общий аспект человеческого опыта, но при этом в открытом доступе не существует никаких данных о статистике времени ожидания, каковые есть, например, о кассовых сборах голливудских блокбастеров. Но если прогнозы людей основаны на их опыте, то мы можем воспользоваться правилом Байеса, чтобы провести скрытую рекогносцировку мира, анализируя ожидания. Когда Том и Джош просили людей предсказать время ожидания ответа оператора с одной точки измерения, результаты показали, что все субъекты использовали в основном правило умножения вероятностей: общее время удержания звонка согласно их ожиданиям в
раз дольше чем им приходилось ждать до сих пор. Это согласуется и с применением экспоненциального распределения в априорной вероятности, когда возможен широкий диапазон значений. Надеюсь, вам не придется ждать целую вечность! За последнее десятилетие подобные подходы позволили ученым-когнитивистам выявить априорные распределения людей в целом по широкому спектру областей от зрительного восприятия до языка.
Однако тут нужно сделать одно важное замечание. В тех случаях, когда у нас нет хорошей априорной вероятности, мы не можем делать хорошие прогнозы. В исследовании Тома и Джоша, к примеру, была одна тема, по которой прогнозы людей систематически расходились с правилом Байеса: прогнозы о продолжительности правления египетских фараонов. (Как это часто бывает, правление фараонов подчиняется распределению Эрланга.) Людям просто не хватало косвенной информации, чтобы интуитивно чувствовать диапазон этих значений, поэтому их прогнозы, разумеется, не оправдались. Хорошие прогнозы требуют хорошей информационной базы.
Это влечет за собой ряд важных последствий. Наши суждения не оправдывают наших ожиданий, а наши ожидания не оправдывают наш опыт. То, как мы видим наше будущее, во многом говорит и о мире, в котором мы живем, и о нашем собственном прошлом.