Глава 4. Осложнители и наоборот: как убить прячущуюся переменную

Однажды у Асфеназа, придворного при царе Навуходоносоре, возникла большая проблема. В 597 году до н. э. вавилонский царь разорил Иудейское царство и привел с собой тысячи пленных, среди них и иерусалимскую знать. По обычаю своего царства, он возжелал, чтобы некоторые из них служили ему при дворе, и он приказал Асфеназу сыскать среди них «отроков, у которых нет никакого телесного недостатка, красивых видом и понятливых для всякой науки, и разумеющих науки и смышленых и годных служить в чертогах царских». Этим счастливцам предстояло изучить язык и культуру Вавилона и служить в администрации великой империи, раскинувшейся от Персидского залива до Средиземного моря. На время обучения царь назначил им пищу с царского стола и вино, которое сам пил.

Тут-то и возникла проблема. Один из любимцев вельможи, юноша по имени Даниил, отказался притрагиваться к пище. По религиозным мотивам он не мог есть мясо, приготовленное не по иудейским обычаям, и он попросил, чтобы ему и его товарищам взамен позволили питаться растительной пищей.

Асфеназ рад был бы удовлетворить его просьбу, но боялся, что это заметит царь: «… Если он увидит лица ваши худощавее, нежели у отроков, сверстников ваших, то вы сделаете голову мою виновною пред царем».

Даниил постарался убедить Асфеназа, что диета из воды и овощей не уменьшит их способность служить царю. Как и подобает «разумеющему науки и смышленому», он предложил эксперимент: «Сделай опыт над рабами твоими, — предложил он, — в течение десяти дней пусть дают нам в пищу овощи и воду для питья. И потом пусть явятся пред тобою лица наши и лица тех отроков, которые питаются царской пищею…» И сказал Даниил: «… Поступай с рабами твоими, как увидишь».

Даже если вы не читали эту историю, то, вероятно, уже догадались, что случилось. Даниил и трое его друзей прекрасно чувствовали себя на вегетарианской диете. Царь был настолько поражен их умом и способностью к ученью — не говоря уж об их здоровом, цветущем виде, — что дал им лучшее место при дворе, где «во всяком деле мудрого уразумения… находил их в десять раз выше всех тайноведцев и волхвов, какие были во всем царстве его». Позже Даниил прославился толкованием снов царя и выжил, брошенный в ров со львами.

Библейской истории можно верить либо не верить, но она прекрасно передает суть сегодняшней экспериментальной науки. Асфеназ задает вопрос о причинности: отощают ли мои слуги на вегетарианской диете? Даниил предлагает методологию для работы со всеми подобными вопросами: возьмите две группы людей, одинаковые по всем важным для нас параметрам. Поместите одну из них в новые условия (задайте особую диету, давайте лекарство и т. п.), а вторую группу (называемую контрольной) оставьте в старых условиях (не давайте лекарства и т. п.). Если после подходящего отрезка времени между этими предположительно одинаковыми группами людей наблюдается измеримая разница, тогда новые условия должны быть ее причиной.

Теперь мы называем это контролируемым исследованием. Принцип прост. Чтобы понять каузальный эффект диеты, в идеале нам надо бы сравнить то, что произойдет с Даниилом на одной диете, с тем, что произойдет с ним же на другой, но мы не можем вернуться в прошлое и переписать историю, поэтому делаем лучшее из того, что нам остается: мы сравниваем подопытную группу с контрольной. Очевидно, но при этом очень важно, что группы должны быть сравнимы между собой, им необходимо репрезентативно представлять какую-либо популяцию. Если эти условия соблюдены, результаты могут быть перенесены на популяцию в целом. К чести Даниила, он, похоже, это понимал. Он не просит овощей только для себя: если опыт покажет, что вегетарианская диета лучше, тогда эта диета в будущем будет дозволена всем невольникам-израильтянам. По крайней мере, так я интерпретирую фразу «Поступай с рабами твоими, как увидишь».

Даниил понимал также и то, что сравнения нужно проводить между группами. В этом смысле он уже был мудрее многих наших современников, которые выбирают, например, модную диету только потому, что какая-то их подруга села на нее и похудела. Если вы выбираете способ питания, основываясь только на опыте одной подруги, вы предполагаете тем самым, что являетесь одинаковой с ней по всем важным в данном случае показателям: росту, весу, наследственности, условиям жизни, предшествовавшим диетам и т. д. Это очень большое допущение.

Другой ключевой момент в эксперименте Даниила в том, что он предполагался в будущем, а экспериментальные группы были подобраны заранее. По контрасту представьте, что вы смотрите рекламный ролик, в котором 20 человек все как один рассказывают, что сбросили вес на такой-то диете. Со стороны это довольно приличная выборка, поэтому некоторым зрителям ролик кажется убедительным. Но на самом деле это означает, что принимать решение придется, основываясь только на опыте людей, для которых она заведомо сработала. Из жизненного опыта вы знаете, что на одного человека, которому диета помогла, приходится десяток таких же, как он или она, которые тоже ее пробовали, но безрезультатно. Но их, конечно, не станут показывать в рекламном ролике.

По всем этим показателям эксперимент Даниила был очень современным. Контролируемые заранее планируемые эксперименты по-прежнему остаются фирменным знаком хорошей науки. Однако об одной важной вещи Даниил не подумал: это систематическая ошибка. Допустим, что Даниил и его друзья изначально здоровее, чем контрольная группа. В этом случае их здоровый внешний вид на десятый день диеты может быть никак не связан с самой диетой: он лишь отражает их общее здоровье. Не исключено, что они выглядели бы даже лучше, если бы согласились есть мясо со стола царя!

Рис. 21: Самая базовая версия путаницы: Z — это путаница в предполагаемой причинно-следственной связи между X и Y.

Систематическая ошибка наблюдается, когда некая переменная влияет на представителей одновременно и подопытной, и контрольной групп. Иногда эти вмешивающиеся переменные известны; в других случаях о них можно только догадываться и они действуют как скрытые переменные. На каузальной диаграмме вмешивающиеся переменные, или конфаундеры, легко распознать: на рис. 21 переменная Z в центре вилки осложняет переменные X и Y (позже мы увидим более универсальное определение, но такой треугольник — самая узнаваемая и распространенная ситуация). Из диаграммы легко понять, почему вмешивающуюся переменную называют конфаундером. Истинный каузальный эффект X → Y осложняется ложной корреляцией между ними, возникающей в результате вилки X ← Z → Y. Например, если мы тестируем некое лекарство и даем его пациентам, которые в среднем моложе, чем контрольная группа, возраст становится конфаундером — скрытой третьей переменной. Если у нас нет данных по возрастам испытуемых, мы не сможем отделить истинный эффект нашего препарата от ложного эффекта.

Однако верно и обратное. Если у нас есть измерения третьей переменной, то разделить истинный и ложный эффекты становится очень просто. Так, если вмешивающаяся переменная — это возраст, мы сравниваем опытную и контрольную группу в каждой возрастной группе отдельно. Затем можно усреднить воздействие, подсчитывая вес каждой группы соответственно ее проценту в целевой популяции. Этот метод компенсации знаком всем статистикам: он называется «корректировка по Z» или «поправка по Z».

Как ни странно, статистики одновременно и недо-, и переоценивают важность корректировки по конфаундеру. Переоценка заключается в том, что поправки вводятся по слишком многим переменным или даже по переменным, по которым их вводить неправильно. Недавно я наткнулся на цитату из политического блогера по имени Эзра Кляйн, в которой эта гиперкорректировка описана весьма точно: «В статьях это попадается постоянно. „Мы скорректировали данные по…”. Далее следует список, чем он длиннее, тем лучше. Уровень дохода. Возраст. Раса. Религия. Рост. Цвет волос. Сексуальные предпочтения. Регулярность посещения спортзала. Любовь к родителям. Кока-кола или пепси-кола. Чем больше корректировок, тем значительнее ваша статья. Ну или, по крайней мере, тем значительней она выглядит. Поправки дают ощущение конкретики, точности. Но иногда поправок слишком много, и в результате вы корректируете как раз то, что хотите измерить». Кляйн затрагивает важную тему. В статистике давно образовалось непонимание того, какие переменные следует, а какие не следует корректировать, поэтому по умолчанию поправки стали вводить для всего, что только можно измерить. Подавляющее большинство современных работ поддерживают эту практику. Это удобная и несложная процедура, но она одновременно тратит впустую время и создает ошибки. Ключевое достижение Революции Причинности в том, что она положила конец этой путанице.

В то же время статистики сильно недооценивают корректировку в том смысле, что вообще избегают говорить о причинности, даже если все поправки сделаны верно. Это тоже противоречит основной идее этой главы: если вы обнаружили значительный набор вмешивающихся переменных в диаграмме, получили по ним данные и ввели по ним поправки, то у вас есть полное право сказать, что вы подсчитали причинностное воздействие X → Y (при условии, конечно, что ваша диаграмма научно обоснована).

Подход учебников по статистике к вмешивающимся переменным совершенно иной, он опирается на идею, наиболее активно защищаемую Р. Э. Фишером: рандомизированное контролируемое исследование. Ученый был совершенно прав в этом подходе, но не в его основаниях. РКИ — это действительно замечательное изобретение, но до недавнего времени поколения статистиков, следуя за Фишером, неспособны были доказать, что то, что они получали благодаря РКИ, было именно тем, что они хотели получить. У них не было языка, с помощью которого можно было бы записать то, что они хотели найти, а именно каузальное воздействие X на Y. В этой главе одна из моих целей — объяснить с точки зрения каузальных диаграмм, почему именно РКИ позволяют нам оценить каузальное воздействие Х → Y, не становясь жертвой систематической ошибки. Когда мы поймем, как именно работают РКИ, нам не нужно будет больше помещать их на пьедестал и относиться к ним как к золотому стандарту причинностного анализа, который все остальные методы должны воспроизводить. Совсем наоборот: мы увидим, что так называемый золотой стандарт легитимен потому, что опирается на более базовые принципы.

Эта глава также покажет, что каузальные диаграммы позволяют переключаться с конфаундеров на деконфаундеры (deconfounders). Первые вызывают проблемы — вторые решают ее. Они могут перекрываться, но это не обязательно. Если у нас есть данные по достаточному набору деконфаундеров, не будет иметь значения, если мы проигнорируем некоторые или даже все конфаундеры.

Это переключение внимания — основной путь, по которому Революция Причинности позволяет нам продвинуться дальше фишеровских экспериментов и выявить причинно-следственные связи из неэкспериментальных исследований. С помощью него реально определить, какие переменные должны быть скомпенсированы, чтобы стать деконфаундерами. Этот вопрос десятилетиями терзал как теоретиков, так и практиков статистики; десятилетиями здесь скрывалась ахиллесова пята всей отрасли знания. Так происходило потому, что он не имеет никакого отношения ни к данным, ни к статистическим методам. Конфаундеры — это причинностная концепция, она находится на второй ступени Лестницы Причинности.

Графические методы, возникнув в 90-е годы прошлого века, полностью упростили проблему конфаундеров. В частности, скоро мы познакомимся с методом критерия черного хода, который недвусмысленно определяет, какие переменные в каузальной диаграмме являются деконфаундерами. Если исследователь в состоянии получить данные по этим переменным, он может скорректировать их влияние и предсказать результаты действия, даже не осуществляя его.

На самом деле Революция Причинности идет дальше. В некоторых случаях мы вправе ввести поправку по конфаундерам даже тогда, когда у нас нет данных по достаточному массиву деконфаундеров. В этих случаях целесообразно использовать другие формулы корректировки — не общепринятые, которые работают только с критерием черного хода — и убрать всю систематическую ошибку. Эти впечатляющие разработки мы прибережем для главы 7.

Хотя вмешивающиеся переменные известны очень давно во всех областях науки, понимание, что эта проблема требует каузальных, а не статистических решений, пришло относительно недавно. Даже совсем недавно, в 2001 году, рецензенты отклонили мою статью, настаивая на том, что «проблема вмешивающихся переменных целиком лежит в плоскости традиционной статистики». К счастью, за последнее десятилетие число таких редакторов резко сократилось. Теперь образовался практически всеобщий консенсус, по крайней мере среди философов, эпидемиологов и представителей общественных наук, в том, что: 1) проблема конфаундеров нуждается в каузальном решении и такое решение есть; 2) каузальные диаграммы — это полный и систематический метод для нахождения таких решений. Эпоха сложностей с конфаундерами подошла к концу!