Статистическая значимость и эффект
Обман футурологов – ставки на спорт – легко – статистическая значимость и эффект, и почему не следует их путать – паук в моей постели
Помощником при измерении достоверности научных результатов является статистика. Стоит задержаться на время, чтобы уделить внимание некоторым деталям, так как в них зарыто, пожалуй, одно из самых вредных недоразумений, связанных с интерпретацией полученных данных. Чтобы оценить значимость информации, ученый создает небольшую мысленную игру. Ее суть в том, что в большинстве экспериментов сравниваются две версии одной теории, которые при определенных обстоятельствах выдают отличные друг от друга прогнозы. Мысленная игра вычисляет вероятность того, что предсказанное отличие присутствует, потому что соответствующая версия теории верна или потому что непредсказуемые отклонения в измерениях случайным образом имели правильную направленность. Слишком абстрактно? Будем конкретнее.
Скажем, мы имеем дело с предсказателем, который, чтобы производить впечатление серьезного ученого, называет себя футурологом. Он предсказывает вам, выиграет ли ваша любимая футбольная команда. Неделю за неделей на ваш электронный почтовый ящик приходит письмо, содержащее всего одну букву: «В» – для выиграет, «П» – для проиграет или «Н» – для ничьей. После 5 правильных предсказаний отправитель спрашивает, не хотите ли вы оформить платную подписку на его достоверные прогнозы. Стоит ли тратить деньги? Может, удастся с помощью футуролога опустошить кассу букмекерской конторы?
Обратимся к научному тесту на определение статистической значимости прогнозов. Он дает ответ на простой вопрос: какова вероятность того, что футуролог сделал 5 правильных прогнозов наугад? На каждую игру есть 3 варианта ответа, и один из них «угадал правильно», то есть его вероятность 1:3. В сумме для 5 игр это дает чуть больше 0,4 %.
В науке стандартом статистической значимости для вероятности случая принято считать 5 %. 0,4 % далеки от данной цифры. Ученые в этом случае говорили бы о результате с высокой степенью статистической значимости. Порог отклонения в 5 % значит, что достоверный результат будет получен случайно в одном из 20 случаев. А это, в свою очередь, значит, что из 20 научных результатов в среднем один неверный, если все занятые в исследовании приложили максимум усилий и не допустили методической ошибки.
Это только начало всех трудностей, так как наш футуролог оказался на удивление не до конца честен с вами. Письма с предсказаниями он отправлял не только вам, но еще 242 адресатам. Причем каждому из них он посылал одну из 243 возможных цепочек из трех букв. Вероятность того, что каждый адресат получит комплект правильных предсказаний, составляет на самом деле 100 %. Результат не является статистически значимым.
Проблема возникает, даже если не было умысла обмануть. Возможно, футуролог и правда сделал общую рассылку с одними и теми же результатами. Но поскольку у каждого из адресатов своя любимая команда, 5 предсказаний для 18 футбольных клубов Бундеслиги могут оказаться верными. Итак, по нашим оценкам, вероятность случайного угадывания увеличивается примерно в 18 раз, пока мы не установили, о какой именно команде идет речь. В данных обстоятельствах 5 раз правильно предсказать результаты матча для любого клуба все еще маловероятно. С точки зрения науки это значит угадать случайно.
Точное значение в этом случае сложно вычислить, но оно и не играет никакой роли. Важно, что в трех случаях письма, полученные нашим любителем футбола, были одинаковыми и что 5 раз подряд результат матча был предсказан правильно. Тем не менее мы получили 3 различных показателя статистической значимости прогноза, от банального «потому что случайно верно» до «верно с высокой долей вероятности». Что влияет на результат и что во всех настоящих научных исследованиях является критичным, так это тщательность, с которой спланирован, задокументирован и проведен эксперимент или опыт.
Даже если наш ученый все проделал максимально тщательно и все расчеты проводились корректно, остаются две оговорки. Одна касается порога отклонения в 5 %. Напомню: из 20 значимых результатов в среднем один случайный. Говоря о многих тысячах исследований во всех дисциплинах, результаты которых публикуются ежемесячно, в научных журналах накапливаются всевозможные потенциально ошибочные положительные результаты. Не только восприятие склонно к галлюцинациям, но и наука в целом.
Вторая оговорка, чуть ли не важнее предыдущей. Она связана с тем, что статистическая значимость описывает лишь один аспект научного результата. Значимость соответствует чувству уверенности или неуверенности в себе у человека. Это паук ползет по тумбочке, или тень скользнула? Не имеет значения, насколько мы уверены, гораздо более существенно, насколько важен для нас ответ. У меня мелькнула бы мысль, как помочь заблудившемуся существу, а у того, кто боится пауков, мысли пошли бы совсем в другом направлении. В науке принято говорить о двух величинах: статистической значимости и статистическом эффекте, которые часто намеренно или неосознанно смешивают журналисты, пишущие статьи на научные темы.
Во многих исследованиях (например, в тех, где пытаются установить, вызывает ли некий продукт рак или излечивает его, или помогает ли в борьбе с избыточным весом) говорят о значимом эффекте, но на самом деле он может быть минимальным. Значимым, например, было бы влияние конкретного лимонада на продолжительность жизни, если бы было доказано, что тот, кто пьет его, в среднем живет на 10 секунд дольше того, кто пьет лимонад другого производителя. Если бы разница в 10 секунд не превысила пятипроцентный барьер вероятности того, что результат получен случайно. Чтобы определить статистическую значимость малых погрешностей, потребуется большое количество испытуемых и море лимонада.
Поскольку в реальном мире практически все немного коррелируется друг с другом (например, даже месяц рождения немного сказывается на чувстве юмора), то можно найти статистически значимое подтверждение почти для всех взаимосвязей, если исследовать достаточно большие массивы данных. Но эффект будет таким же маленьким, как в примере с лимонадом и продолжительностью жизни, и при всей статистической значимости им можно будет пренебречь. Правда, это не мешает средствам массовой информации трубить о доказанном положительном влиянии лимонада на продолжительность жизни. А если две недели спустя выяснится, что, кроме всего прочего, есть малюсенький значимый эффект на частоту заболевания раком, то они и об этом раструбят.
Хотя все эти результаты верны, кажется, что они противоречат друг другу и подрывают доверие к ученым, которые каждую неделю пулей несутся опровергать выводы исследований предыдущей недели новыми невероятными результатами и надеются, что благодарная общественность проглотит все.
Вот мы и собрали почти все элементы, необходимые для конструирования небольшой модели, как правильно «запудрить мозги». Она объяснит, почему подавляющее большинство из нас почти все время с благодарностью и готовностью принимают на веру самые большие глупости, и при этом их согревает чувство собственной правоты.
