33. Методы доказательств эволюционируют

Назад: 32. Хорошие доказательства. Воспроизводимость результатов

Наука постоянно движется вперед, вгрызаясь во все более и более сложные проблемы. Для планомерного продвижения вперед ученым приходится постоянно совершенствовать методологию исследований. Вместе с этим постоянно повышаются требования к уровню доказанности.

Учет субъективных факторов

Методология доказательств требует устранения субъективных факторов.

Сложность психологических экспериментов заключается не только в длительности и дороговизне (для весомых результатов нужно набирать большие группы испытуемых). Принципиально сложно поставить эксперимент так, чтобы испытуемый не догадывался о сути эксперимента. Чтобы он вел себя максимально естественно, экспериментаторам приходится идти на разно– образные ухищрения. На ум сразу приходит знаменитый эксперимент Стэнли Милгрэма «Подчинение авторитету», в котором добровольцу предлагали поучаствовать в роли экспериментатора в опыте над другими людьми. Но на самом деле на протяжении всего опыта настоящим испытуемым был именно доброволец-экспериментатор, о чем он совершенно не догадывался.

Люди не хотят размышлять. При малейшей необходимости чуть-чуть напрячь мозги они сразу же говорят: стоп, это не нужно. Вы наверняка сталкивались с этим, когда пытались кому-то что-то аргументированно разъяснить. Готовили доводы, мысленно выстраивали логическую цепь рассуждения. А ваш оппонент в какой-то момент ставил точку в споре банальными словами «мне все равно».

Поклонник гомеопатии, биополей, соционики либо акупунктуры будет вместе с вами высмеивать «смехотворные претензии» астрологии или оккультных практик. «Что? Серьезно? Зельеварение? Заклинания? Влияние Юпитера на судьбу человека? Ребята, ну мы же живем в XXI веке», – говорят они. Но стоит завести речь об их собственных увлечениях, и они начинают использовать абсолютно идентичную риторику в качестве защиты своих любимых идей. «Это уже сто раз доказано», «Это работает», «Вы просто не хотите признать очевидное» и т. п. А ведь в большинстве случаев за всеми этими концепциями не стоит ничего, кроме имен авторитетных гуру или субъективных заблуждений. То есть доказательная база у всего этого примерно одинаковая.

Какие-то идеи мы уверенно отвергаем как устаревшие. Согласитесь, сейчас вряд ли кто-то верит в Зевса, Анубиса или Перуна (ладно-ладно, я помню о неоязычестве), в ритуалы вызова Сатаны (сатанисты вроде тоже встречаются). Но когда ты начинаешь нападать со своим скептицизмом на фэн-шуй, гадание по руке, благодатный огонь, на осовремененные версии тех же самых старых мифов и магических ритуалов – это вызывает бурю негодования.

По какому-то лишь нам одним известному внутреннему критерию мы содержимое большого мешка всенародных заблуждений быстро и с сознанием дела делим на две кучки. Вот тут у нас старые, бесполезные бабушкины суеверия, вроде кошки, перебежавшей дорогу. А тут у нас современные, хорошие, полезные приметы, «крайний вместо последнего» и пр. Да, не все заблуждения развенчать так же легко, как, например, телепатию или телекинез. Да, иногда нужно приложить усилие, чтобы разобраться. Но люди ленивы.

«У большинства людей нет времени и желания разбираться в сути значительных и сложных проблем. Мы склонны прислушиваться к тому, что говорят другие, и если их мнение близко нам, оно становится основой нашего восприятия проблемы. Более того, мы чаще всего обращаем внимание только на ту ее часть, которая беспокоит именно нас».

Стивен Дабнер, Стивен Левитт, Фрикомыслие: Нестандартный подход к решению проблем

Почему же мы верим во всякую чепуху? Давайте поразмышляем. Во-первых, многие вещи считаются общепринятыми истинами. Они достаются нам как культурное наследие. Мы даже не всегда можем сказать, когда об этом узнали – скорее всего, это произошло довольно давно, в детстве. Здесь очень сильно групповое подкрепление – согласие нашего социального окружения с этими «истинами».

«Гагарин – первый в космосе» (правда)

«Пушкин – великий поэт» (правда)

«Нужно мыть руки, чтобы не подхватить инфекцию» (правда)

«Деревья производят кислород» (неправда)

«Радиация – дело рук человеческих» (в общем нет)

«Если поднять еду с пола в течение пяти секунд – микробы не успеют на нее залезть» (неправда)

Во-вторых, о чем-то мы узнали когда-то впервые. По несчастливой случайности познакомились с неким явлением из недостоверного или откровенно лженаучного источника. Сравнить эту информацию было не с чем, а первое впечатление всегда очень сильно.

«Каждый человек имеет собственное уникальное биополе». «Квантовой физикой доказано, что мысль материальна». И вот уже наука, в роли догоняющего, пытается искоренить заблуждение из нашего мировоззрения, но это сделать не так легко. Люди не любят признавать ошибки, не любят чувствовать себя одураченными. В-третьих, могут сработать различные когнитивные искажения (см. главу 36 «Тени разума») либо логические ошибки. В случае с лекарственными препаратами или лечебными процедурами может сработать эффект плацебо (см. ниже). И вроде бы какие-то критикуемые наукой вещи и правда работают.

«Я заболел гриппом, попил пять дней „Кагоцел“ („Анаферон“, „Оцилококцинум“) и выздоровел. Теперь буду советовать его знакомым». «Моему ребенку сделали прививку, а потом он заболел. Больше прививать его я не буду». «Я сходил к астрологу, и он удивительно точно предсказал мне удачу в ближайшей сделке».

Никогда нельзя забывать, что многие явления оказываются гораздо сложнее, чем кажутся на первый взгляд, содержат скрытые параметры, множество ускользающих из вида нюансов. Гениальный шахматист не обязательно будет хорошо разбираться в политике. А выдающийся хирург может оказаться полным профаном в археологии (интерпретации археологических данных). Существует множество очень сложных тем. Мозг и сознание, проблемы климата, экономические и социальные процессы, политическая жизнь в стране и т. п.

Вот вам пример если не расхожего заблуждения, то, по крайней мере, одной сомнительной, но распространенной идеи. Поговорим о вкусе вина. Действительно ли вино, в несколько раз более дорогое, обладает столь же многократно лучшим вкусом? В обществе стипендиатов Гарвардского университета провели дегустационный эксперимент. Знатокам вина предложили продегустировать вино из четырех декантеров: в трех было дорогое вино, а в четвертом – дешевое. Все декантеры получили примерно одинаковые оценки, то есть дешевое вино оказалось на вкус таким же, как и дорогие. Особую иронию вызвал тот факт, что знатоки по-разному охарактеризовали вина из двух декантеров, в которых на самом деле было одно и то же вино.

В 2008 году кулинарный и винный критик Робин Голдштейн опубликовал результаты другого интересного винного эксперимента, на этот раз более обширного. В 17 дегустациях с участием в общей сложности 506 дегустаторов были протестированы 523 марки вин в ценовом диапазоне от $1,65 до $150. Тестирование представляло собой двойной слепой эксперимент, то есть марка и цена вина не были известны ни тому, кто дегустировал вино, ни тому, кто его разливал. Около 12 % процентов участников имели некую базовую подготовку, например курсы сомелье. Испытуемые должны были дать ответ на вопрос: «В общем, как вы оцениваете вино?» Предлагалось четыре варианта ответа: «плохо» (1 балл), «нормально» (2 балла), «хорошо» (3 балла) и «отлично» (4 балла). В итоге более дорогие вина не смогли набрать большего количества баллов. Эксперты (представители подготовленных 12 %) не высказали явного предпочтения к дешевым винам, но и не выделили более дорогие.

Что же это? Экспертиза под вопросом или же субъективный взгляд в таком деле вполне допустим? Что является для нас решающим фактором при выборе «хорошего вина» или других продуктов: яркий и насыщенный вкус или же совет авторитетного в этом вопросе знакомого? Или же бренд, красочная и стильная этикетка и интересная форма бутылки (особенно если мы это вино пробуем впервые)? И здесь не грех снова спросить: а вы готовы под гнетом доказательств отказаться от заблуждения, с которым жили долгие годы, или же будете защищаться из принципа?

Известный скептик Майкл Шермер на вопрос: «Почему умные люди верят в глупости?» ответил, что люди рьяно защищают то, до чего дошли по иррациональным причинам.

«Чаще всего мы приходим к тому или иному мнению по причинам, очень далеким от эмпирических доказательств и логических рассуждений (которыми, по идее, умные люди умеют пользоваться). К определенной точке зрения нас склоняют врожденные предрасположенности, пристрастия родителей, влияние братьев и сестер, давление коллектива, образование и жизненный опыт вкупе с разнообразными общественными и культурными влияниями. Мы очень редко анализируем факты, взвешиваем „за“ и „против“ и выбираем самую логичную и рациональную точку зрения, независимо от прошлых убеждений. Чаще всего факты реального мира приходят к нам сквозь цветные фильтры теорий, гипотез, догадок, склонностей и предрассудков, накопленных за всю жизнь. Роясь в горе информации, мы вылавливаем то, что подтверждает уже имеющиеся убеждения, и отбрасываем или рационализируем то, что идет с ними вразрез».

Майкл Шермер, Скептик: Рациональный взгляд на мир

Например, мне очень интересно, почему люди, «исповедующие» критическое мышление, научный подход и скептицизм, ведут себя как самые обычные обыватели, как только речь заходит о политических заявлениях, каких-то моральных установках и т. п.

Учет эффекта плацебо

При изучении лечебного воздействия или любых других улучшающих нашу жизнь явлений необходимо учитывать эффект плацебо.

Эффект плацебо – это эффект самовнушения в медицине и психологии, когда под действием некоторых внешних (не оказывающих прямого лечебного воздействия) факторов пациент (испытуемый) посредством внушения формирует у себя убеждение в улучшении своего физического или психического состояния. Самовнушение может сопровождаться ослаблением симптомов болезни. Доктор дает больному таблетки-пустышки, не содержащие лечащего вещества. Но сам медицинский «ритуал» вызывает у больного веру в существование механизма лечения. Эффект плацебо выявляется статистически в сравнении с испытуемыми, которым вообще не оказывается никакого лечения. В то же время эффект от плацебо-препаратов будет ниже, чем от реальных лекарственных препаратов или методик, если таковые существуют.

В ряде исследований показано, что более дорогое плацебо «работает» эффективней, чем дешевое, а плацебо-инъекции более эффективны, чем плацебо-таблетки. Играет роль авторитетность врача, его поведение при лечении. Для запуска механизма внушения необходимо соблюдение строгого наукообразного ритуала лечения.

^{При этом плацебо-эффект будет выражен у разных людей по-разному, так как зависит от уровня внушаемости данного конкретного человека и от его физиологической способности вырабатывать соответствующие химические соединения (например, эндорфины). Также эффект плацебо сильнее проявляется, когда заболевание имеет в своем составе сильную психологическую компоненту, например, боль или депрессию.}

Спектр применения плацебо весьма широк. Особенно часто плацебо-препараты и методики применяют при заболеваниях и психических расстройствах (бессонница, кошмарные сны, депрессия), для которых на текущий момент не существует эффективных лекарственных средств, либо лекарственные средства эффективны лишь для небольшой доли пациентов. Например, в России плацебо-методами работают с алкоголе– и наркозависимыми.

В то же время плацебо-препараты не способны влиять на течение серьезных заболеваний. К примеру, гомеопатические фальшивки «Анаферон» и «Эргоферон», выдаваемые за настоящие лекарственные препараты, могут помочь уменьшить простудные симптомы при ОРВИ или гриппе, но прописывать их при клещевом энцефалите – вообще говоря, уголовное преступление. Эффект плацебо не сработает против опухолей, шизофрении, СПИДа, оспы или кори.

Существует и эффект, противоположный по значению – «ноцебо». Когда пациент (испытуемый) формирует у себя отрицательную реакцию на внешнее воздействие.

С точки зрения научной методологии крайне важно учитывать возможный эффект плацебо при тестировании эффективности новых медицинских препаратов и лечебных методик. Поэтому серьезные современные исследования всегда должны быть «плацебо-контролируемыми». То же самое относится и к тестированию эффективности различных альтернативных видов медицины: народной медицины, экстрасенсов-целителей, религиозных ритуалов, акупунктуры, рейки, гомеопатии, лечения заряженной водой, голографическими, квантовыми приборами и т. п.

Один из самых известных видов нетрадиционной медицины – акупунктура. Однозначное отнесение ее к псевдонаучной практике затруднено тем, что существует ряд официальных, хотя и сомнительных, исследований ее эффективности. Важным прорывом в изучении этого вопроса было бы выяснение роли эффекта плацебо в иглоукалывании. Но каким образом можно провести плацебоконтролируемое исследование эффективности такой специфической практики, как акупунктура? Заменить ее таблетками или неинвазивным массажем не получится.

Наука хочет знать правду, ведь на кону, ни больше ни меньше, здоровье и жизни людей. И выход был найден. Доктор Эдзард Эрнст, один из ведущих специалистов в области экспертизы методов нетрадиционной медицины, разработал способ фальшивого иглоукалывания – телескопическую иглу. Телескопическая игла только на вид пронзает кожу, но на самом деле убирается внутрь себя, словно складывающаяся антенна у старого радиоприемника или уходящий в рукоятку театральный кинжал. На разработку и тестирование телескопической иглы ушли годы, и еще несколько лет ушло на организацию и проведение клинических испытаний. Но в итоге начали появляться и практические результаты. Оказалось, что, чем строже проводится испытание (дотошнее симулируется акупунктурная методика в плацебо-группе с телескопическими иглами по сравнению с экспериментальной группой с реальным иглоукалыванием), тем очевиднее тот факт, что лечебный эффект акупунктуры – не более чем плацебо.

Применение самых современных доказательных методов

Используем ли мы самые лучшие и современные методы доказательств?

Погрешности и побочные эффекты

В науке полно ограничений: ограничения методов, измерительных приборов. Любая научная теория имеет свою область применения. В основе физических измерений лежит понятие «погрешности». Ничего в науке нельзя сказать со стопроцентной вероятностью.

Какие-то процессы не поддаются точному описанию из-за множества параметров, которые нужно учитывать. Например, мы не можем делать точные прогнозы погоды на месяц вперед не потому, что погодой управляют языческие боги (хотя кто знает, кто знает… наука учит сомневаться во всем), а потому, что погодные условия в данной местности зависят от множества факторов. Микроскопические погрешности в определении физических погодных факторов приводят нас к тому, что делать точные прогнозы погоды – сверхсложная задача.

При тестировании нового лекарства вероятность получить осложнения или побочные эффекты не так уж велика, допустим, 1 к 100 000. Но что это по факту означает? Это значит, что при тестировании нового препарата на людях, из 1 миллиона испытуемых примерно 10 человек, ввиду индивидуальных особенностей организма, возможно, получат серьезные негативные последствия, может быть, даже летальный исход. Акушеры заявляют, что смертность при родах в современных роддомах составляет примерно 10 случаев на 100 000. На самом деле страшные цифры. Но налицо и честное признание предела своих текущих возможностей.

Какова же точность астрологии? Почему астрологи не пишут в своих гороскопах: «Вам с вероятностью 88 % сделают выгодное предложение по работе» или «Романтическая встреча сегодня вечером приятно завершится с вероятностью 69 %»? Заявляет ли экстрасенс о возможных негативных последствиях своей целительной практики? Почему конспирологи уверены в своих выводах «на все сто»? Почему в их разоблачительных текстах не встречаются фразы «я не уверен», «сомневаюсь, что», «вероятно, что»?

В инструкции к кеторолу (обезболивающее) длинный перечень возможных побочных эффектов, множество противопоказаний и описываемые симптомы при передозировке. В инструкции к гомеопатической пустышке «Анаферону» побочных эффектов нет. Да и какие они могут быть, если кроме сахара там ничего нет? Разве что диатез. Можно было бы провести интересный эксперимент: сравнение эффективности разных видов терапии при мигренях. Насколько гомеопатия эффективнее по сравнению с кеторолом или другим обезболивающим (не забудем про плацебо). На мой взгляд, отсутствие побочных эффектов, слабых мест, возможной неэффективности – это тревожный признак, повод включать скептицизм.

Критерии доказательности постоянно развиваются. Если в старые-добрые времена рассказы очевидцев религиозного чуда, личный опыт эскулапа, логические рассуждения древнегреческих мыслителей и т. п. были достаточным доказательством правоты высказывания, то в XXI веке в качестве подтверждения требуются более серьезные причины. Очень наглядна эволюция методов доказательств в медицине.

Эволюция доказательств в медицине

Современная медицинская методология именуется коротко и ясно: «доказательная медицина» (evidence-based medicine). Базовый тезис доказательной медицины можно сформулировать так: если больному дали лекарство или назначили лечебную процедуру и после этого больному стало лучше, это не всегда связано с действием лекарства или процедуры.

Методологии доказательной медицины посвящены целые учебники, настолько она изощренна и систематизирована.

Согласно современной классификации, можно выделить следующую иерархию доказательности в медицинских исследованиях (в частности, в клинических испытаниях). Иногда доказательства по значимости разделяют на четыре или пять уровней. Рассмотрим их в порядке возрастания значимости.

Уровень 4–5 (самые слабые доказательства). Сюда относятся отдельные описанные случаи заболевания и/или лечения некоторого заболевания. Этот тип наблюдений очень важен для фиксирования случаев редких заболеваний, когда просто негде набрать обширную статистику. Однако далеко идущих выводов из отдельных случаев делать не стоит. Например, лекарство может подойти одному больному, но не подойти другому.

В этот же уровень доказательности относят выработанную общую точку зрения (консенсус) группы экспертов по некоторому вопросу. То есть разные врачи, на основании личного профессионального опыта лечения той или иной болезни, делают выводы об эффективности данной методики или лекарства.

Уровень 3 (более серьезные доказательства). Доказательства получены в результате хорошо спланированных неэкспериментальных исследований. Например, это может быть ретроспективное исследование – когда изучается архив историй болезни для данного заболевания. После статистической обработки (если описанных случаев много) можно выдвинуть некоторую гипотезу о причинах или особенностях развития заболевания. Слабым местом данного исследования являются неточная выборка случаев или неполная запись в истории болезни.

Также доказательства могут быть получены в результате экспериментальных исследований – например, в так называемых нерандомизированных клинических испытаниях. Группе больных дают лекарство, а дальше наблюдают клиническую картину. Очевидно, чем больше пациентов находится под наблюдением, тем больше доверие к результатам. На этот аспект исследования всегда смотрят в первую очередь.

Уровень 2 (сложные экспериментальные исследования). Проводя клиническое испытание, мы можем столкнуться с рядом сложностей, из-за которых приходится уточнять и усложнять методы доказательств. Допустим, мы тестируем лекарство от болезни, от которой пациенты спустя некоторое время и сами поправляются. Например, изучаем лекарство от ОРВИ или новую методику лечения некоего психологического расстройства. Возникает вопрос, выздоровел ли пациент сам или с помощью лекарства? Не получится ли как в анекдоте: «Без лекарства я болел целую неделю, а принимая лекарство, всего семь дней».

Необходима контрольная группа пациентов, в которой не будет проводиться лечение, для выявления эффективности исследуемого препарата. Если же нам необходимо показать эффективность нового препарата по сравнению с традиционным методом лечения, то пациентам из контрольной группы нужно назначить традиционное лечение. Кроме того, необходимо учесть возможное влияние эффекта плацебо (см. пункт 4 выше). Без дополнительного контроля может быть затруднительно разделить эффект лекарства и эффект плацебо. Пациенты и при экспериментальном лечении, и при традиционном могут поправляться самостоятельно.

Способом учесть все эти факторы является рандомизация, то есть разделение испытуемых на группы случайным образом. В обычном рандомизированном клиническом испытании (РКИ) пациенты делятся на две группы – экспериментальную (новое лечение) и контрольную (традиционное лечение или отсутствие лечения). А в плацебо контролируемом рандомизированном клиническом испытании для контрольной группы назначается плацебо-терапия.

РКИ – это столп современной доказательной медицины, выдающееся цивилизационное достижение. Именно этот тип испытаний способен отсеять субъективные факторы, врачебные предрассудки и неоправданные ожидания. Чаще всего РКИ делается слепым. «Слепое» испытание означает, что сам пациент не знает, что он получает – плацебо или настоящее лекарство («ослепление» пациента). Но оказалось, что и здесь есть, куда расти и развиваться, повышать чувствительность методики. Само поведение врача, проводящего лечебные манипуляции, может меняться, когда он знает, чем именно занимается: настоящим лечением или плацебо-терапией. Это может сказаться на восприятии происходящего пациентом и в итоге исказить результаты исследования. Решением этой задачи является организация двойного слепого рандомизированного клинического испытания. При двойном ослеплении о сути процедуры не догадывается ни сам пациент, ни даже лечащий его врач. В подобных сложных экспериментальных исследованиях большую роль начинает играть сам дизайн эксперимента. И аналитики подробно изучают структуру исследования, аккуратность и правомерность действий.

Уровень 1 (самый высокий уровень доказательности). На вершине пирамиды доказательности находятся систематический обзор и мета-анализ.

Систематическим обзором называется тематический отбор и исследование множества опубликованных отдельных (независимых) исследований по одинаковой тематике (однородные исследования) с целью анализа и критики. То есть систематический обзор – это обобщение работы множества исследователей по данной проблеме.

Метаанализ – это процедура объединения результатов нескольких исследований методами статистики. При этом специфические процедуры анализа данных позволяют исключить ряд ошибок при проведении отдельных экспериментов и неверных интерпретаций. Можно считать метаанализ одним из способов систематического анализа. В случае метаанализа большого числа однородных исследований можно сделать вывод об эффективности медицинского препарата с высокой степенью доказательности несмотря на то, что некоторые отдельные исследования из общего числа имеют сомнительные (спорные) результаты.

Наиболее авторитетная организация, занимающаяся публикацией систематических обзоров – Кокрейновское сообщество. Это международная некоммерческая (что очень важно) организация, изучающая эффективность медицинских технологий с помощью строгой систематизированной методологии, которую постоянно совершенствует. Кокрейновское сотрудничество объединяет почти 40 тысяч ученых-добровольцев по всему миру. Результаты систематических обзоров, опубликованные в библиотеке сообщества, считаются наиболее достоверными и строгими.

Заметим, что нигде в этой многоступенчатой иерархии не встречались доказательные аргументы вида «Я много лет этим лечусь, и мне помогает» или «Это многовековая народная мудрость». Также не рассматриваются аргументы «Вот, в соседней стране этим лечат давно – и все довольны!».

Принятием решения о степени доказательности препарата или лечебной процедуры занимаются специальные экспертные органы. В мировой практике это Всемирная организация здравоохранения (ВОЗ), уже упомянутое Кокрейновское сотрудничество (The Cochrane Collaboration), Общество критической медицины (Society for Critical Care Medicine) и многие другие. Эти же организации создают руководства и рекомендации для врачей. Врач, идущий в ногу со временем, должен постоянно знакомиться с новейшими обзорами по своей тематике. Увы, не все врачи идут в ногу со временем. Кто-то небрежно отмахнется со словами: «Всю жизнь так лечил и вылечивал! Что вы мне тут рассказываете сейчас?»

Развернутой и изощренной доказательной методологией медицинская наука уже давно бы очистилась от разнообразных предрассудков, псевдонаучных паразитов и устаревших взглядов. Если бы не одно «но». Медицина – это очень большие деньги. Уже упомянутый нами профессор Джон Иоаннидис откровенно заявляет, что множество громких медицинских открытий не соответствуют действительности. Более того, современная псевдонаучная медицина постепенно берет на вооружение в том числе и методы доказательной медицины, благодаря которым ей удается выстраивать защитные барьеры от скептиков.

А результаты даже академических исследований при тщательной проверке оказываются недостоверными. Рекомендую посмотреть выступление Джона Иоаннидиса «Доказательная медицина захвачена», посвященное сложностям противостояния поисков правды и ангажированности в медицине.

Несмотря на все трудности, доказательная медицина, как частный случай научной методологии, это выдающийся прорыв человечества. Наука продолжает двигаться вперед, а разнообразные трудности, я уверен, будут преодолены.

В качестве иллюстрации методологического подхода к анализу эффективности альтернативной медицины можно привести «Ответы на часто задаваемые вопросы о гомеопатии и доводы в ее пользу», опубликованные в нашумевшем Меморандуме Комиссии по борьбе с лженаукой. Здесь взвешенно и подробно разбираются типичные оправдательные аргументы в защиту псевдонаучных методов лечения вроде «Мне же помогает!», «У них индивидуальный подход» и «Наука не знает всего».

Назад: 32. Хорошие доказательства. Воспроизводимость результатов

Дальше: 34. Статистика на службе науки