Ошибка множественных сравнений

Рост популярности мобильных телефонов в 90-х сопровождался опасениями, что вышки сотовой связи опасны для здоровья. Шведские ученые решили это проверить и обнаружили, что люди, живущие рядом с вышками, чаще страдают опухолями мозга. Обратите внимание на заголовки: «Вышки сотовой связи вызывают опухоль мозга!»

Опираясь на выборку, можно делать определенные выводы, но лишь в пределах погрешности. В среднем, правильно составленная выборка населения должна представлять все население. Однако это не означает, что в вашем случае это так. Вполне возможно, что составленная выборка – случайность. Если база выборки велика, это маловероятно, но такая возможность все же остается. Следовательно, существует определенная вероятность того, что выборка подтвердит вашу гипотезу не потому, что гипотеза верна, а потому, что образец отклоняется от нормы.

Ошибка заключается в использовании этой нетипичной выборки для значимых выводов о населении в целом: например, для подтверждения или опровержения гипотезы. Так, если вы подбросите достаточно монет, вполне вероятно, что у одной из них будут выпадать орлы: Толстяку Тони еще рано бить Джимми Забора. Точно так же вполне возможно, что люди, живущие рядом с линией электропередачи, чаще страдают от какого-либо заболевания просто по статистической случайности – если искать достаточное количество болезней, вы сможете подтвердить, что все вредно.

Эта ошибка связана с ошибкой базовой оценки (см. стр. 116) и требует аналогичного опровержения. Напомните своему оппоненту, что статистическая выборка и проверка гипотез дает точные результаты только в определенных пределах; при достаточно большом наборе выборок бывают образцы, выходящие за рамки нормы. Таким образом, для любой гипотезы существует показатель, после которого выборка подтвердит гипотезу благодаря естественной удаче. Напомните своему оппоненту об этих фактах статистики и побудите его делать больше выборок.

Ошибка множественных сравнений сравнима с «ошибкой техасского стрелка»: техасец стреляет по амбару, а затем рисует мишень в месте наибольшего количества пробоин и объявляет себя метким стрелком. Иными словами, при достаточно большом размере выборки можно найти всевозможные необычные паттерны – заблуждение возникает, если не учитывать, что при таком размере выборки их следует ожидать.