18. Когда данные не убеждают

В предыдущей главе мы использовали байесовские рассуждения, чтобы обосновать две гипотезы из эпизода «Сумеречной зоны»:

H — Мистический предсказатель действительно может предсказать будущее.

— Мистическому предсказателю просто повезло.

Мы также узнали, как учесть скептицизм, изменив соотношение априорных шансов. Например, если вы, как и я, считаете, что Мистический предсказатель определенно не экстрасенс, тогда установите априорные шансы крайне низкими — например, 1/1 000 000.

Но в зависимости от своего уровня скептицизма вы можете почувствовать, что даже соотношения шансов 1/1 000 000 будет недостаточно, чтобы убедить вас в силе предсказателя.

Может быть, даже получив 1000 правильных ответов от предсказателя, который, несмотря на ваши очень скептические предыдущие убеждения, подсказал бы вам, что вы астрономически настроены на то, чтобы поверить, что он экстрасенс, вы все равно не купитесь. Конечно, можно сделать наши априорные шансы еще более экстремальными, но лично я не считаю это решение удовлетворительным, потому что никакие данные не убедили бы меня в том, что Мистический предсказатель на самом деле экстрасенс.

В этой главе мы более подробно рассмотрим ситуации, когда данные не убеждают людей так, как мы ожидаем. В реальном мире такое довольно распространено. Любой, кто спорил за праздничным ужином с родственником, должно быть, заметил, что чем чаще приводить доказательства обратного, тем больше люди начинают настаивать на своей правоте! Чтобы понять байесовские рассуждения, нужно понимать, почему возникают подобные ситуации, с математической точки зрения. Это поможет определить и избежать проблем в статистическом анализе.

Друг-экстрасенс бросает кости

Предположим, ваш друг говорит, что он может предсказать исход броска шестигранного кубика с точностью до 90 %, потому что он экстрасенс. В это сложно поверить, и вы решили проверить гипотезу, используя коэффициент Байеса. Как и в примере с Мистическим предсказателем, у вас есть две гипотезы, которые нужно сравнить:

.

Первая гипотеза, H1, отражает веру в то, что кость честная, а ваш друг не экстрасенс. Если кость честная, шанс угадать результат равен 1 к 6. Вторая гипотеза, H2, представляет убеждение вашего друга в том, что он на самом деле может предсказать результат броска кости в 90 % случаев и поэтому получает соотношение 9/10. Далее потребуются данные, чтобы начать проверку гипотез. Друг бросает кость 10 раз и правильно угадывает результат броска в 9 случаях.

Сравнение правдоподобия

По традиции начнем с рассмотрения коэффициента Байеса, предполагая, что априорные шансы для каждой гипотезы равны. Сформулируем соотношение правдоподобия следующим образом:

.

Результаты укажут, во сколько раз лучше (или хуже) утверждение вашего друга о том, что он экстрасенс, объясняет данные, чем ваша гипотеза. Для этого примера в уравнениях для краткости используем переменную КБ для обозначения коэффициента Байеса. Вот результат, учитывающий, что ваш друг правильно предсказал 9 из 10 бросков:

.

Отношение правдоподобия показывает, что гипотеза друга-экстрасенса объясняет данные в 468 517 раз лучше, чем гипотеза, что другу просто везет. Это заслуживает внимания. Согласно таблице коэффициентов Байеса из предыдущих глав, это означает, что мы должны быть практически уверены, что H2 истинна, а ваш друг — экстрасенс. Если только вы не поверили в возможность мистических сил, что-то здесь не так.

Добавление априорных шансов

В большинстве рассматриваемых здесь примеров, где одна только вероятность дает странные результаты, мы можем решить проблему, добавив априорные вероятности. Ясно, что мы не верим в гипотезу нашего друга почти так же сильно, как верим в собственную, поэтому имеет смысл создать сильные априорные шансы в пользу нашей гипотезы. Начнем с того, что установим отношение шансов достаточно высоким, чтобы оно нейтрализовало экстремальный результат коэффициента Байеса, и посмотрим, решит ли это нашу проблему:

.

Теперь при вычислении полных апостериорных шансов мы обнаруживаем, что снова не убеждены в том, что друг — экстрасенс:

.

Похоже, априорные шансы снова спасли нас от затруднения, которое возникло при учете только одного коэффициента Байеса.

Но предположим, что друг бросает кость еще пять раз и успешно предсказывает все пять результатов. Теперь у нас есть новый набор данных, D15, который представляет 15 бросков кости, 14 из которых ваш друг угадал. Теперь при вычислении апостериорных шансов мы видим, что даже наш экстремальный априорный шанс мало помогает:

.

Используя существующий априорный шанс и имея всего пять бросков кости, мы получаем апостериорные шансы, равные 4592. Это означает, что мы вернулись к почти полной уверенности, что друг — действительно экстрасенс!

В большинстве предыдущих примеров мы исправили неинтуитивные апостериорные результаты, добавив адекватный априорный. Мы добавили довольно экстремальный априорный шанс против того, что ваш друг экстрасенс, но шансы по-прежнему сильно поддерживают обратную гипотезу.

Это серьезная проблема — байесовские рассуждения должны соответствовать логике. Понятно, что 15 бросков кости с 14 удачными догадками — это необычно, но вряд ли большинство убедится, что у оппонента есть экстрасенсорные способности. Но если мы не можем объяснить происходящее с помощью проверки гипотез, это означает, что мы действительно не можем полагаться на нее для решения повседневных статистических задач.

Учитываем альтернативные гипотезы

Проблема вот в чем: мы не хотим верить, что друг является экстрасенсом. Если бы вы оказались в такой ситуации в реальной жизни, то, скорее всего, быстро пришли бы к какому-то альтернативному выводу. Например, решили бы, что друг использует нечестную кость, которая выбрасывает определенное значение, например, в 90 % случаев. Это третья гипотеза. Наш коэффициент Байеса рассматривает только две возможные гипотезы: H1, гипотезу о том, что кость честная, и H2, гипотезу о том, что ваш друг — экстрасенс.

Коэффициент Байеса поддерживает гипотезу, что наш друг экстрасенс, а не то, что он правильно угадывает броски честной кости. Когда в таких терминах мы думаем о выводе, то это имеет больше смысла: с такими результатами очень маловероятно, что кость честная. Альтернатива H2 не вызывает комфорт, потому что наши представления о мире не поддерживают идею, что H2 является реалистичным объяснением.

Важно понимать, что проверка гипотез сравнивает только два объяснения события, но зачастую бывает множество возможных объяснений. Если победившая гипотеза не убеждает вас, всегда можно рассмотреть третью.

Посмотрим, что происходит при сравнении H2, победившей гипотезы, с новой гипотезой, H3, — что кость нечестная и дает определенный результат в 90 % случаев.

Начнем с новых априорных шансов относительно H2, которые назовем O (H2)′ (галочка — это стандартное обозначение в математике, означающее «похоже, но не то же самое»). Это выражение будет представлять шансы H2/H3. Пока мы считаем, что вероятность того, что ваш друг использует нечестную кость, в 1000 раз выше, чем того, что он действительно экстрасенс (хотя реальный приоритет может быть гораздо более экстремальным). Это означает, что априорные шансы друга быть экстрасенсом составляют 1/1000. Если пересмотреть наши новые апостериорные шансы, то получается следующий интересный результат:

.

Согласно этому вычислению, апостериорные шансы такие же, как и априорные, — O (H2)′. Это происходит потому, что две вероятности одинаковы. Другими словами, P ( D15 | H2) =P (D15 | H3). Для обеих гипотез вероятность того, что ваш друг правильно угадал результат броска кости, одинакова с вероятностью использования нечестной кости, потому что вероятность, которую каждый присваивает успеху, одинакова. Это означает, что коэффициент Байеса всегда будет равен 1.

Эти результаты вполне интуитивны; в конце концов, без учета априорных шансов каждая гипотеза объясняет данные, которые мы видели, одинаково хорошо. Это означает, что если до рассмотрения данных мы считаем, что одно объяснение гораздо более вероятно, чем другое, то никакие новые доказательства не изменят наше мнение. Таким образом, проблем с наблюдаемыми данными больше нет; просто нашлось лучшее объяснение этому.

В этом сценарии никакое количество данных не изменит наше мнение о том, что Н3 превосходит Н2, потому что оба объясняют то, что мы наблюдали одинаково хорошо, и мы уже думаем, что Н3 является гораздо более вероятным объяснением, чем Н2. Здесь интересно то, что мы можем оказаться в такой ситуации, даже если наши прежние убеждения совершенно иррацио­нальны. Может быть, вы очень верите в мистические явления и думаете, что ваш друг — самый честный человек на свете. В этом случае можно задать априорные шансы как O (H2)′= 1000. Если вы верите этому, никакие данные не смогут убедить вас, что друг жульничает.

В таких случаях важно понимать, что если вы хотите найти решение, то должны быть готовы изменить свои априорные убеждения. Если вы не хотите отпустить неоправданные априорные убеждения, то хотя бы должны признать, что больше не рассуждаете в байесовском, или логическом, смысле. Все мы придерживаемся иррациональных убеждений, и это совершенно нормально, если не пытаться использовать байесовские рассуждения для их оправдания.

Споры с родственниками и теории заговора

Любой, кто когда-либо спорил с родственниками за семейными посиделками о политике, изменении климата или своих любимых фильмах, лично столкнулся с ситуацией, в которой они сравнивают две гипотезы, обе одинаково хорошо объясняющие данные (тому, кто спорит), и в итоге остаются только априорные убеждения. Как мы можем изменить чужие (или собственные) убеждения, даже если добавление данных ничего не меняет?

Ели сравнить убеждение, что ваш друг бросает нечестный кубик, и убеждение, что он экстрасенс, большее количество данных ничего не изменит и не повлияет на ваши убеждения. Это потому, что и ваша гипотеза, и гипотеза вашего друга объясняют данные одинаково хорошо. Чтобы друг убедил вас в том, что он экстрасенс, он должен изменить ваши прежние убеждения. Например, поскольку вы подозреваете, что кости могут быть нечестные, друг может предложить вам выбрать кость, которую бросит. Если вы купили новую кость, дали ее своему другу и он продолжает точно предсказывать броски, то вы начнете сомневаться по поводу старых убеждений. Та же самая логика сохраняется всякий раз, когда две гипотезы одинаково объясняют данные. В этих случаях нужно посмотреть, есть ли что-то, что можно изменить в своих априорных убеждениях.

Предположим, что после того как вы купили новую кость для своего друга и он продолжает добиваться успеха, вы все равно не поверите ему; теперь вы утверждаете, что у друга должен быть секретный способ броска. В ответ друг позволяет вам бросить кость самостоятельно и продолжает успешно предсказывать броски — но вы все еще не верите ему. В этом сценарии происходит нечто иное, помимо скрытой гипотезы. Теперь у вас есть H4 — ваш друг жульничает, — и вы не передумали. Это означает, что для любого Dn, P (Dn | H4) = 1. Ясно, что мы находимся вне байесовской территории, так как вы фактически признали, что не передумали, но давайте посмотрим, что происходит с математической точки зрения, если ваш друг настаивает на попытках убедить вас.

Посмотрим, как эти два объяснения, H2 и H4, дополнятся с использованием данных D10 с 9 верными предсказаниями и 1 неверным. Это объясняется коэффициентом Байеса:

.

Поскольку вы отказываетесь верить во что-либо, кроме того что друг жульничает, вероятность того, что вы наблюдаете, равна (и всегда будет равна) 1. Даже если данные в точности соответствуют ожиданиям того, что ваш друг — экстрасенс, мы считаем, что наши убеждения также объясняют данные в 26 случаях. Друг, решительно настроенный сломить ваше упрямство, упорствует и бросает кость 100 раз, получая 90 правильных догадок и 10 неправильных. Коэффициент Байеса меж тем демонстрирует нечто очень странное:

.

Даже несмотря на то что данные явно подтверждают гипотезу друга, вы отказываетесь сдвинуться с места в своих убеждениях, теперь вы еще сильнее убеждены в своей правоте! Когда мы вообще не позволяем изменить свое мнение, большее число данных еще сильнее убеждает нас в том, что мы правы.

Это поведение знакомо любому, кто спорил с радикально настроенными родственниками или кем-то, кто непреклонно верит в теорию заговора. В байесовских рассуждениях жизненно важно, чтобы убеждения были как минимум опровержимыми. В традиционной науке опровержимость означает, что что-то можно опровергнуть, но в нашем случае это просто означает, что должен быть какой-то способ уменьшить нашу веру в гипотезу.

Опасность неопровержимых убеждений в байесовских рассуждениях заключается не только в том, что нельзя доказать, что они неверны, но и в том, что они даже подкрепляются доказательствами, которые, кажется, противоречат им. Вместо того чтобы настойчиво пытаться убедить вас, друг должен был сначала спросить: «Что я могу показать тебе, чтобы ты передумал?» Если бы вы ответили, что ничто не может изменить ваше мнение, тогда другу лучше даже не пытаться дать вам больше доказательств.

Итак, в следующий раз, когда вы будете спорить с родственником по поводу политики или теории заговора, спросите его: «Какие доказательства изменили бы твое мнение?» Если ответа на этот вопрос нет, то отстаивать свои взгляды, приводя еще больше доказательств, смысла нет, поскольку это только повысит уверенность оппонента в своей правоте.

Заключение

Из этой главы вы узнали о нескольких способах проверки гипотез. Хотя коэффициент Байеса — это конкуренция двух идей, вполне возможно, что есть и другие, не менее обоснованные гипотезы, которые стоит проверить.

В других случаях мы обнаруживаем, что две гипотезы одинаково хорошо объясняют данные; вы с равной вероятностью будете наблюдать правильные предсказания вашего друга, если они обусловлены экстрасенсорными способностями или хитрым трюком с кубиком. В этом случае имеет значение только отношение априорных шансов для каждой гипотезы. Это также означает, что получение большего количества данных в таких ситуациях никогда не изменит наших убеждений, потому что это никогда не даст ни одной гипотезе преимущества над другой. В этих случаях лучше всего подумать, как вы можете изменить априорные убеждения, которые влияют на результаты.

В более экстремальных случаях может быть гипотеза, которую просто не хотят опровергать. Похоже на теорию заговора в отношении данных. В этом случае большее количество данных не только никогда не убедит нас изменить убеждения, но и фактически возымеет противоположный эффект. Если гипотеза не может быть опровергнута, дополнительные данные только сильнее убедят в ней.

Упражнения

Чтобы убедиться, что вы понимаете, как справляться с крайними случаями в байесовских рассуждениях, попробуйте ответить на эти вопросы.

1. Когда две гипотезы одинаково хорошо объясняют данные, один из способов изменить мнение — посмотреть, можно ли воздействовать на априорную вероятность. Какие факторы могут повысить вашу априорную веру в экстрасенсорные способности друга?

2. Эксперимент утверждает, что когда люди слышат слово «Флорида», они думают о пенсионерах и это влияет на их скорость ходьбы. Чтобы проверить это, мы собрали две группы из 15 студентов, которые идут по комнате; одна группа слышит слово «Флорида», а другая — нет. Предположим, что члены группы H1 двигаются с одинаковой скоростью, а группы H2 двигаются медленнее, потому что слышат слово «Флорида». Также предположим:

.

Эксперимент показывает, что H2 имеет коэффициент Байеса, равный 19. Предположим, что кто-то не убежден в этом эксперименте, потому что у H2 были более низкие шансы на выигрыш. Какие априорные шансы объяснили бы, что кого-то не убедили, и каким должен быть КБ, чтобы довести апостериорные шансы до 50 для этого неубежденного человека?

Теперь предположим, что априорные шансы не изменили мнение скептика. Подумайте об альтернативной Н3, которая объясняет наблюдение, что группа «Флорида» двигается медленнее. Помните, если H2 и H3 объясняют данные одинаково хорошо, только априорные шансы в пользу H3 заставят кого-то утверждать, что H3 вернее H2, поэтому нужно переосмыслить эксперимент, чтобы уменьшить эти шансы. Придумайте эксперимент, который может изменить априорные шансы H3 по сравнению с H2.