Вполне возможно, что большинство статистических искажений в медицинском контексте возникает неосознанно – просто исследователи не знают о некоторых распространенных статистических ловушках. Характерная особенность клинических исследований, в частности, – проверка перспективного способа лечения на группе нездоровых людей с параллельным мониторингом их состояния для оценки воздействия медикамента. Если симптоматика спадает и пациенты идут на поправку, то положительная оценка препарата представляется вполне естественной.

Представим, например, что вы собрали большую группу людей, страдающих от боли в суставах, и попросили их сидеть спокойно, пока их будут жалить пчелы. Звучит абсурдно, но это реальный вид альтернативной терапии – апипунктура. Лечение укусами пчел в последнее время набирает популярность, отчасти благодаря той рекламе, которую ей делает Гвинет Пэлтроу, пропагандируя апипунктуру на своем сайте о стиле жизни Goop. Теперь представим, что боль в суставах у некоторых страдальцев чудесным образом проходит и они после сеансов начинают чувствовать себя в целом лучше. Можно ли сделать вывод, что апипунктура на самом деле является эффективным способом лечения боли в суставах? Скорее всего, нет. Никаких научных доказательств эффективности апипунктуры для лечения какого бы то ни было расстройства не существует. Более того, известно, что лечение пчелиным ядом часто вызывает отрицательные последствия, – зафиксирован по меньшей мере один летальный исход. Как же тогда объяснить положительные результаты нашего гипотетического исследования? Что вызывает улучшение состояния пациентов?

Острота таких расстройств, как боль в суставах, с течением времени колеблется. Вполне вероятно, что на участие в испытаниях – особенно в таких экстремальных и нестандартных, как апипунктура, – соглашаются те, кто находится в самом тяжелом положении и отчаянно нуждается хоть в каком-то облегчении своего недуга. Если сеанс лечения проводится на фоне острой боли, то через некоторое время они весьма вероятно почувствуют себя лучше – вне зависимости от результативности лечения. Это явление называют регрессией к среднему значению. Оно проявляется во многих исследованиях, в которых присутствует элемент случайного разброса результатов.

Чтобы лучше понять, как работает регрессия к среднему, рассмотрим результаты экзамена. Возьмем крайний случай, когда студентам предлагается ответить на 50 вопросов с ответами «да» или «нет» по предмету, о котором они ничего не знают. Если студенты будут выбирать ответы исключительно наугад, результаты теста будут варьироваться от нуля до 50, но тех, кто угадает почти все правильно, будет совсем немного – как и тех, кто не угадает почти ничего. Из распределения баллов, приведенного на рис. 20, видно, что средний балл большинства экзаменуемых будет ближе к среднему арифметическому значению 25. Если проанализировать баллы тех, кто попал в 10 % лучших, то они по определению будут значительно выше, чем в среднем по всей группе. Но покажут ли они результаты значительно выше среднего, если их протестировать повторно, со свежими вопросами? Конечно, нет. Мы будем вновь ожидать, что их оценки равномерно распределятся вокруг среднего балла 25. То же самое будет верно и при перепроверке нижних 10 %. Набравшие экстремально высокие и экстремально низкие баллы в первом тесте во втором, как правило, вернутся к среднему показателю.

Рис. 20. Распределение баллов при прохождении теста из 50 вопросов с многовариантными ответами «да/нет». При повторном тестировании тех, кто набрал наивысшие 10 % баллов (заштрихованная область справа), их средний балл совпадает со средним общим баллом. То же самое относится к низшим 10 % (заштрихованная область слева). Группы, получившие как высшие, так и низшие баллы, регрессировали в сторону среднего значения

Результат реальных экзаменов в значительной степени будет определяться навыками и трудовой этикой, однако нельзя исключать и элемент везения, который проявляется как в наборе вопросов, выпадающих на экзамене, так и в приоритетности предметов для повторного экзамена. Регрессия к среднему способна выявить такой эффект – если он имел место. Элемент случайности особенно заметен на экзаменах с многовариантным набором ответов, из которых даже студент, не обладающий необходимыми знаниями, может угадать правильный. В одном исследовании, проведенном в 1987 году, 25 подверженных «экзаменационной панике» американских студентов, которые неожиданно плохо справились с тестом на проверку академических способностей (SAT), прошли повторное тестирование, предварительно приняв пропранолол – лекарство от гипертонии . Газета New York Times сообщала о результатах исследования так: «Препарат, используемый для лечения высокого кровяного давления, резко улучшил результаты теста на проверку академических способностей у студентов, страдающих от необычайно сильной тревожности…». Студенты, принимавшие пропранолол, значительно повысили свои оценки – в среднем на 130 баллов по шкале от 400 до 1600. Поначалу кажется, что пропранолол – невероятно действенное средство. Оказывается, однако, что даже ученики, которые не нервничали перед тестом, при повторной сдаче улучшают свои оценки примерно на 40 баллов. Если учесть, что студенты, отобранные для исследования, были выбраны именно потому, что они показали результаты хуже, чем предполагалось по их IQ или другим академическим показателям, они вполне могли бы и без пропранолола значительно повысить свои баллы в результате регрессии к среднему.

Без контрольной группы студентов, получивших такие же низкие баллы на первом тесте и прошедших переэкзаменовку без препарата, эффект его воздействия определить нельзя. Очень соблазнительно было бы приписать прогресс студентов воздействию пропранолола, основываясь только на результатах получавшей его группы. Однако итоги случайного теста с многовариантными ответами показывают, что регрессия групп, показавших экстремальные результаты, к среднему значению является чисто статистическим феноменом.

В медицинских исследованиях очень важно не путать причину со следствием (не говоря уже о подтасовке причинно-следственных связей). Один из способов предотвратить это (как мы уже видели в главах 2 и 3) – рандомизированное контролируемое исследование, в котором пациенты распределяются случайным образом по двум группам. Как и в исследовании тамоксифена (средства от рака груди), пациенты в группе лечения получают настоящую терапию, а пациенты в контрольной группе – плацебо. Если и пациенты, и организаторы не знают, в какой из групп находится конкретный пациент, исследование называют двойным слепым. Это считается золотым стандартом клинических испытаний. При двойном слепом рандомизированном контролируемом исследовании любая разница между улучшением в контрольной группе и улучшением в группе лечения может быть надежно отнесена исключительно на счет лечения, исключая регрессию к среднему.

Исторически любое улучшение пациентов в контрольной группе исследования привыкли называть эффектом плацебо – ощущением пользы от терапии, которую испытуемый считает лечением, даже если это всего лишь таблетка-пустышка. Однако становится все более очевидным, что он складывается из двух совершенно разных явлений. Первое – подлинный психосоматический эффект, который заставляет пациентов чувствовать себя лучше только потому, что они верят в факт лечения. Этот эффект истинного плацебо реально изменяет оценку пациентом своих симптомов – до некоторой степени. Психосоматический эффект усиливается, если пациент знает, что его лечат по-настоящему, и, что интересно, он усиливается, даже если об этом знает только тот, кто проводит лечение, – отсюда и необходимость двойного слепого исследования. Впрочем, психосоматический аспект, по всей видимости, оказывает наименьшее влияние на формирование и интенсивность эффекта плацебо.

Вторая, возможно, более значимая причина улучшения состояния пациентов в контрольной группе, – регрессия к среднему. Этот простой статистический эффект не приносит никакой пользы пациентам вообще. Единственный способ определить, какой из двух компонентов эффекта плацебо оказывает наибольшее воздействие, – сравнить результаты «лечения» в контрольных группах с результатами группы, которая не получает лечения вообще. Эти виды испытаний часто считают неэтичными, но в прошлом их провели достаточно много, чтобы показать, что большинство эффектов плацебо на самом деле являются результатом регрессии к среднему .

Многие сторонники альтернативной медицины утверждают, что даже если их лечение является не более чем эффектом плацебо, польза от него может быть значительной и стоит того. Тем не менее, если бóльшая часть эффекта плацебо вызвана регрессией к среднему, который не дает никакой реальной пользы для пациента, этот аргумент неубедителен. Другие гуру альтернативной медицины утверждают, что ставку нужно делать не на «искусственные клинические испытания», а на «реальные результаты» – иными словами, на «неконтролируемые результаты испытаний, которые фиксируют только то, как меняется состояние пациента после лечения». Неудивительно, что шарлатаны цепляются за любой аргумент, который позволяет им выдавать последствия регрессии к среднему за благоприятный эффект их знахарства. Лауреат Пулитцеровской премии Эптон Синклер сказал: «Трудно заставить человека понять хоть что-то, когда его зарплата зависит от его непонимания».

Эффект регрессии к среднему оказывает сильнейшее влияние на интерпретацию причинно-следственных связей не только в медицине, но и в законотворчестве. 16 октября 1991 года 32-летняя Сюзанна Гратиа Хапп зашла со своими родителями в кафе в техасском городке Киллин. В обеденное время кафе было забито – за квадратными столиками теснились полторы сотни голодных клиентов. В 12:39 лишившийся работы моряк торгового судна Джордж Хеннард протаранил своим голубым пикапом Ford Ranger витрину кафе и въехал прямо в обеденную зону. Выпрыгнув с водительского места с пистолетами Glock 17 и Ruger P89, он открыл стрельбу.

Решив поначалу, что происходит вооруженное ограбление, Сюзанна и ее родители упали на пол и перевернули стол, создав импровизированный барьер между собой и стрелком. Но выстрел раздавался за выстрелом, и Сюзанна с ужасом поняла, что мужчина не грабитель: этот человек пришел для того, чтобы убивать – убивать без разбора и как можно больше.

Стрелок остановился в нескольких метрах от их стола, и Сюзанна схватила свою сумочку. В ней она носила 38-миллиметровый Smith & Wesson, который ей подарили для самообороны несколько лет назад. Однако, когда она потянулась за пистолетом, ее кровь застыла в жилах. Сюзанна вспомнила, что предусмотрительно оставила револьвер под сиденьем своего автомобиля, чтобы не нарушать техасский закон о скрытом ношении оружия. Потом она называла это «самым глупым решением в жизни».

Отец Сюзанны отважно решил схватить стрелка, прежде чем тот перестреляет всех в кафе. Он выскочил из-за стола и рванулся к Хеннарду – но не прошел и нескольких футов. Выстрел в грудь бросил его, смертельно раненного, на пол. В поисках новых жертв Хеннард отошел от стола, за которым скрывались Сюзанна и ее мать. В то же время другой клиент, Томми Вон, бросился в окно в задней части ресторана в отчаянной попытке спастись. Увидев в разбитом окне путь к спасению, Сюзанна схватила свою мать, Урсулу, уговаривая ее бежать, убираться с места бойни. Рванувшись изо всех сил, Сюзанна выскочила в разбитое окно и оказалась невредимой снаружи ресторана. Она оглянулась убедиться, что мать последовала за ней, но обнаружила себя в одиночестве. Урсула подползла к телу умирающего мужа и прижала его голову к груди. Медленно, размеренно, неотвратимо Хеннард приблизился к месту, где она застыла, и выстрелил ей в голову.

Тогда Хеннард застрелил 23 человека, считая родителей Гратиа. Еще 27 были ранены. На тот момент это было самое кровавое массовое убийство в истории США. Сюзанна проехала по всей стране, горячо выступая в поддержку легализации скрытого ношения оружия. До бойни в Киллине в 1991 году законы о скрытом ношении оружия действовали в десяти штатах. Согласно этим законам, при условии соблюдения заявителем ряда объективных критериев, он получал разрешение на скрытое ношение оружия без ограничений. С 1991 по 1995 год аналогичные законы приняли еще 11 штатов, а 1 сентября 1995 года Джордж Буш подписал закон, сделавший Техас 12-м.

Право на ношение и свободную продажу оружия – очень чувствительный вопрос в США, поэтому огромный интерес к влиянию законов, разрешающих его скрытое ношение, на уровень насильственных преступлений, вполне понятен. Сторонники контроля над оружием настаивали, что либерализация скрытого ношения может привести к тому, что незначительные конфликты будут выливаться в смертельные разборки, а преступные группировки получат новый, легальный, источник вооружения. Лоббисты права на свободное ношение оружия утверждали, что потенциальный преступник дважды подумает, прежде чем напасть на вооруженного человека, а располагающие оружием граждане могут попытаться быстрее положить конец массовым убийствам. Первые исследования, сравнивающие показатели преступности до введения таких законов и после, свидетельствовали, что показатели убийств и насильственных преступлений снижались сразу же после принятия закона о скрытом ношении оружия .

Однако в этих исследованиях, как правило, игнорировались два фактора. Первым из них было общее снижение уровня насильственных преступлений по всей стране, пришедшееся как раз на период введения большинства законов о скрытом ношении оружия. Также с 1990 по 2001 год выросло число полицейских и число заключенных, а «эпидемия крэка» пошла на спад – все это способствовало сокращению числа убийств по всей территории США в среднем с 10 на 100 тысяч человек до 6 на 100 тысяч человек в год . Количество убийств в штатах, где действуют и не действуют законы о скрытом ношении оружия, упало примерно одинаково. Когда сравнивают количество убийств в США в целом с количеством убийств в штатах, где действует разрешение на ношение скрытого оружия, уровень последних выглядит не слишком выдающимся, что подрывает доводы о сильном влиянии этих законов на криминогенную обстановку. Возможно, еще более важным является вывод из одного исследования, что после учета регрессии к среднему показателю, данные «…не подтверждают гипотезу о том, что законы о скрытом ношении оружия оказывают благотворное влияние на снижение уровня убийств». Обычно штаты принимали такие законы в ответ на рост уровня насильственных преступлений. Но из того, что уровень насильственных преступлений падал после принятия законов, совсем не следует, что он падал вследствие него. Напротив, именно относительный рост убийств, как правило, и становился причиной принятия таких законов. Но это создало ложное впечатление об их эффективности, поскольку после их принятия уровень преступности естественным образом опускался с аномально высокого до среднего уровня.