Основные идеи
• Не поддавайтесь ошибке игрока или ошибке базового процента.
• Единичные случаи и корреляции, которые вы видите в данных, – хорошие генераторы гипотез, но корреляция не подразумевает причинно-следственной связи – вам все равно нужно основывать надежные выводы на хорошо спланированных экспериментах.
• Ищите проверенные планы экспериментов, такие как рандомизированные контролируемые эксперименты или А/В-тестирование, которые демонстрируют статистическую значимость.
• Нормальное распределение особенно важно в экспериментальном анализе из-за центральной предельной теоремы. Помните, что при нормальном распределении около 68 % значений попадет в одно стандартное отклонение и 95 % – в два.
• Любой изолированный эксперимент может привести к ложноположительным или ложноотрицательным результатам и обусловлен множеством факторов, чаще всего систематической ошибкой отбора, искажением ответа и систематической ошибкой выжившего.
• Воспроизведение повышает уверенность в результатах, так что начните с поиска систематического обзора и/или метаанализа при исследовании определенной сферы.
• Никогда не забывайте, что при работе с неопределенностью значения, которые вы видите в отчетах или рассчитываете самостоятельно, сами по себе неопределенны и что вы должны искать и указывать значения с «усами»!