Нужно предупредить читателей о множественных сравнениях, статистической проблеме, которую так редко принимают во внимание журналисты и должностные лица. Считается, что результат тогда статистически значим, когда вероятность его возникновения исключительно в силу непроизвольной ошибки не превышает 5 %. Это обусловлено традиционными представлениями о науке, согласно которым сбор данных (и построение гипотезы) – процесс трудоемкий. Сегодня собрать данные можно без особых хлопот и больших денежных затрат благодаря интернету и программному обеспечению, которое отыщет все имеющиеся корреляционные связи. Все равно что проверить зараз несколько тысяч возможных гипотез. В таких условиях отделить зерна от плевел даже при помощи p-значения оказывается непросто. Исследователь должен быть готов к тому, что в каждой двадцатке проверенных гипотез ему попадется одна «значимая», но на самом деле ложная корреляция. В моих примерах можно усмотреть косвенные указания на проблему множественных сравнений, потому что я выбрал корреляции более-менее забавные и указывающие на связи общего характера между (а) знаниями и (б) мнением или поведенческой реакцией, которую предполагает сам респондент. Однако я проявил осторожность и отобрал корреляции, состоящие из одного факта, у которых p-значения обладают высокой значимостью. В обеих таблицах p-значения в среднем для корреляций между результатами теста на общие знания и ответами на вопросы поведенческого типа оказались равны 0,007.
