Как понять, что меня обманывают?
В общем-то некоторые читатели могли бы уже и заскучать от того, сколько информации на них вылилось. Это неудивительно, ведь мы и правда обсудили довольно много по-настоящему технических моментов, которые, тем не менее, крайне важны для понимания того, что вообще происходит в медицине в плане лекарств. Однако, во-первых, напомню, что вся эта информация приводится не как руководство для самолечения. Во-вторых, отмечу, что задача наша состояла в том, чтобы понять, почему же не следует бездумно принимать препараты. Врачи ежегодно ездят на самые разные конференции, где на них сваливают ещё больше информации об ещё большем количестве исследований. Исследования по интересующей теме при этом могут публиковаться каждый день, причём не одно и не два, а, например, целый десяток. Естественно, врачи сами могут не успеть уследить за всей новой информацией. Поэтому существует обязательный обмен мнениями, конференции, а самое главное – специальные люди, в чьи задачи входит постоянный мониторинг всего, что происходит в области.
Безусловно, одной из таких огромных организаций является Cochrane. По официальным данным, в Cochrane работает более 13 000 членов организации, а также по всему миру насчитывается более 50 000 сторонников. Все эти люди являются сторонниками доказательной медицины, исследователями, профессионалами своего дела в самых разных областях и даже пациентами и ухаживающими за ними близкими. Всё это глобальное сообщество людей собирает и обобщает информацию по исследованиям, старым и новым, а затем выдаёт обобщённую информацию по всем этим исследованиям. Кроме того, старые обзоры обновляются раз в несколько лет, ведь, как я уже говорила, ежедневно публикуется сотни и тысячи статей в журналах самого разного качества.
Но давайте теперь вспомним о нашей пирамиде доказательств (рис. 14). Мы подобрались с вами к самой верхушке нашей пирамиды. На ней находятся метаанализы и систематические обзоры. Метаанализ подразумевает, что учёные объединили результаты нескольких исследований, а затем заново их обработали различными статистическими методами, чтобы проверить какую-то гипотезу. Возможно, эта гипотеза соответствовала гипотезам всех включённых в метаанализ исследований, иногда случается так, что это совершенно новая гипотеза, которая проверяет определённые исходы. В качестве данных могут использоваться как исходные данные обо всех пациентах, которые входили в исследования, так и результаты этих исследований. Таким образом, получается нечто следующее. Например, мы с вами исследователи, мы отобрали для нашего метаанализа 8 исследований, в каждом из которых участвовало 350 пациентов. Тогда общее количество участников увеличится до 2800, а результаты, которые мы с вами получим в результате статистического анализа, получатся более достоверными.
Систематический обзор подразумевает критический анализ и оценку отобранных исследований. Метаанализ при этом является частью систематического обзора, хотя и не всегда обязательной. Систематический обзор позволяет проверить, не было ли совершено в ходе проведения исследований каких-либо ошибок.
Систематический обзор и метаанализ подразумевают отбор исследований, которые исследователи решили проанализировать. То есть для исследований тоже определяются свои критерии включения. Второй шаг – это тщательный поиск литературных данных. Обычно в публикациях, посвящённым систематическому анализу исследований, указывается, в каких базах данных научных исследований авторы искали информацию и по какому запросу. Также может быть определено качество журнала, в котором было опубликовано исследование. Я, наверно, никого не удивлю, но как и для обычных журналов и газет, так и для научных журналов существуют свои стандарты качества. Эти стандарты подразумевают то, насколько журнал вообще котируется в научном мире. Так называемые «Вестники» различных университетов, например, весьма неплохи в качестве первой ступени для студентов университета, в некоторых случаях «Вестники» университетов публикуют весьма интересные исследования. Однако на мировой арене такие исследования могут быть не замечены.
Существуют специальные базы данных, в которые включают научные журналы, которым можно доверять. К таким журналам применяют ряд требований: рецензирование, проверка данных, а для того, чтобы издание было включено в какую-то из баз данных, необходимо утверждение специальным консультативным комитетом. Самыми известными базами библиографических и реферативных данных являются Scopus и Web of Science (WoS). Считается, что журналы, которые входят в данные базы данных, являются наиболее авторитетными. Таких журналов по разным профилям науки может насчитываться не одна сотня и даже не тысяча. Представляете, сколько тогда журналов, которые никуда не входят? Кроме того, в таких базах данных отмечены патенты. В России также существуют собственные базы данных, в которые входят данные о научных публикациях на русском языке. В первую очередь это Российский индекс научного цитирования (РИНЦ), а также система eLibrary.
Рис. 14. Самая вершина пирамиды доказательств
Кроме того, в последнее время начали появляться ещё одни показатели «научности» журнала. Это так называемые квартили, обозначаемые буквой Q. Квартиль – это четверть. Соответственно, все журналы в какой-либо базе данных ранжируются по убыванию цитируемости, а затем разделяются на 4 части. В Q1 входят самые высокорейтинговые и высокоцитируемые журналы, тогда как в Q4 – наименее цитируемые и рейтинговые.
Наукометрические показатели в последнее время всё же часто критикуют, так как само по себе цитирование может мало что значить. Самый известный показатель цитируемости, индекс Хирша, критиковался вообще самим автором оригинальной статьи, в которой и было предложено использовать этот показатель. Показатель цитируемости вообще ничего не говорит о том, насколько высокую значимость имеет работа для науки. Многих учёных, к сожалению, оценивают исключительно по данному показателю.
Например, в области биологии и медицины у множества учёных довольно высокие индексы цитируемости. При этом у физиков и математиков традиционно эти показатели более низкие. Это связано со спецификой проведения исследований, а отчасти, возможно, и с модой на биомедицинские исследования: просто сейчас стало своего рода модным быть учёным-биологом или медиком. В свою очередь, эпоха интенсивных исследований в области физики была в начале ХХ века, но сейчас физики публикуют гораздо меньше статей. Значит ли это, что одни учёные хуже как специалисты, чем другие? Вовсе нет. Однако во многих университетах в мире наукометрические показатели стали абсолютными показателями успешности учёных, являясь ими лишь отчасти. В погоне за цифрами учёные могут публиковать кучу мелких статей, а то и вовсе не особо значимых. При увеличении же количества статей может значительно страдать качество.
При выборе «критериев включения» в систематический обзор исследователи, безусловно, отмечают, в каких базах данных был проведён поиск. Возможно, указываются даже языки, на которых проводился поиск. Это действительно очень важная информация, которая позволит определить, насколько можно доверять журналам, а уже затем лезть в саму суть. Несмотря на неидеальность всех наукометрических показателей, иного способа отсеять огромное количество информации на данный момент не представляется возможным. Как правило, при этом поиск ведётся не в одной базе данных, а в нескольких.
Сейчас всё чаще первичный поиск ведётся автоматически при помощи программных алгоритмов. Затем же исследователи объективно оценивают каждое отобранное исследование. Обычно это делается при помощи методов Cochrane или PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses, Предпочтительные параметры отчётности для систематических обзоров и метаанализов)[76].
В систематическом обзоре должен быть использован объективный и прозрачный подход к обобщению исследований с целью минимизации систематической ошибки. При этом если посмотреть на некоторые систематические обзоры, то можно заметить, что очень часто их результаты могут звучать даже проще в каком-то смысле, чем результаты, полученные в исследованиях, которые в этот систематический обзор вошли. Такое упрощение помогает не только медицинским специалистам, но и делает обзоры относительно простым чтением для неспециалистов. На многих ресурсах есть специальные страницы и даже целые разделы, созданные для пациентов. Информация там ещё больше упрощена, но в тексте также встречаются ссылки на отдельные исследования. На официальном сайте Cochrane всё тоже выглядит весьма «прилично»: как правило, небольшое резюме, какое-то количество цифр, общее заключение. Но читатель всегда может ознакомиться как с отдельными исследованиями, так и с целым систематическим обзором.
При этом Cochrane осуществляет совершенно разные анализы исследований. Учёные могут оценить, например, точность диагностического теста. То есть в целом тест показал свою эффективность, но точность его не совсем ясна. Безусловно, оцениваются и вмешательства. В этих случаях сообщество анализирует преимущество и риски каких-то вмешательств, используемых в медицине. Есть вообще совершенно суперневероятная вещь – обзоры систематических обзоров. Это эдакое чудовище Франкенштейна, которое состоит из отдельных систематических обзоров, в каждый из которых входит определённое количество исследований. В общем-то, это один из новых типов исследований, которые позволяет объединять схожие систематические обзоры в единое целое, чтобы не перегружать людей.
Я тут уже какое-то количество страниц пою дифирамбы таким обзорам, но это вовсе не значит, что у них нет недостатков. Во-первых, не все обзоры одинаково надёжны. В 2007 году в журнале PLoS Medicine была опубликована статья[77], согласно которой среди 300 проанализированных авторами систематических обзоров:
• в 122 не были указаны источники финансирования;
• 197 сообщали информацию об оценке качества публикаций;
• 161 сообщили о статистическом объединении результатов, при этом 147 из этих 161 оценивали соответствие во всех исследованиях;
• 53 являлись обновлениями более ранних обзоров;
• 150 использовали термин «систематический обзор» или «метаанализ» в заголовках или аннотациях;
• ни у одного обзора не было регистрационного номера.
Кроме того, по качеству отчётности наблюдались значительные отличия в обзорах, которые были выполнены Cochrane, и теми, которые были выполнены другими исследователями. Таким образом, отчётность является «слабым звеном» очень многих систематических обзоров.
Также обзоры далеко не всегда успевают вовремя обновлять. Некоторые области медицины развиваются стремительно, каждые пару лет выпускают новые клинические руководства международного уровня, но систематические обзоры не успевают за ними[78]. Это связано в первую очередь с нехваткой человеческих ресурсов. Если РКИ требовали огромных затрат энергии и времени, то представьте, сколько времени нужно потратить на то, чтобы всю информацию о многих РКИ проанализировать.
Некоторые исследователи включают в систематические обзоры исследования низкого качества, то есть они недостаточно критично подходят к оценке исходного материала. Если исходный материал низкого качества, то и систематический обзор получится не самый лучший. Уделение большего внимания качеству данных в исследовании, размерам выборки и прочим параметрам дизайна исследований может значительно улучшить ситуацию.
* * *
Таким образом, у каждого типа исследований есть свои достоинства и недостатки. Однако несмотря на всё это, каждый из типов доказательств, каждый из типов исследований важен и нужен. Если исследования на животных или исследований случай-контроль стоят ниже по иерархии доказательств, чем рандомизированные плацебо-контролируемые двойные слепые исследования (а ещё и звучат менее солидно!), то это вовсе не значит, что эти исследования не нужны. Они, безусловно, нужны. Просто необходимо понимать цель каждого из них. Тут всё как в жизни. Если человек что-то делает, какую-то серьёзную работу, на которую он тратит много времени, денег и сил, то он, как правило, понимает, что и зачем он делает. Он понимает, какие результаты он может получить, а какие нет. Например, если человек занимается шахматным спортом, то да, он спортсмен, но вряд ли от него можно ожидать, что за счёт передвижения шахмат он накачает крутую бицуху. Аналогично и с исследованиями: нельзя ожидать от исследований на культурах клеток, что они покажут, какие лекарства эффективны, а какие нет, какие можно применять на человеке или нет. Учёные всегда очень сдержанны в своих формулировках. Не только потому, что за неточность формулировок их не только могут осудить коллеги, но ещё и потому, что в случае с медициной от этих формулировок зависят жизни людей.
На основании всех получаемых данных для врачей составляются своего рода алгоритмы, клинические рекомендации, или гайдлайны. С их помощью врачи могут лучше ориентироваться в современных научных данных. Причём вовсе не обязательно, что сегодня вот выпустили какое-то исследование о том, что суперлекарство помогло вылечить рак, а завтра оно окажется во всех рекомендациях по раку. Врачи консервативны ещё больше, чем учёные. Основной принцип «не навреди» просто отучает их опрометчиво использовать всё подряд.
Таким образом, давайте подведём итог нашего разбора всех исследований:
• Исследования на животных и in vitro необходимы для моделирования нужной ситуации, проверки соответствующего вещества, оценки его токсичности, фармакологических параметров и определения возможных дозировок для исследований с участием людей. Эти исследования являются доклиническими, они не показывают эффективность и безопасность для людей, а являются важнейшим этапом в тестировании лекарства.
• Одномоментные поперечные исследования помогают оценить распространённость заболевания, какого-то исхода, определить состояние в популяции в определённый момент времени. В их цель не входит установление чётких причинно-следственных связей.
• Исследование случай-контроль проверяет возможную гипотезу о воздействии факторов риска на течение какого-то заболевания. Чаще такие исследования выдвигают научные гипотезы, а не проверяют их.
• Когортные исследования используются для выявления факторов риска, прогнозирования, наблюдения за пациентами. Они проверяют, могут ли какие-то факторы послужить причиной развития заболевания или состояния.
• Рандомизированные контролируемые исследования как раз помогают установить причинно-следственные связи, устанавливают, помогают ли определённые вмешательства улучшить состояние пациентов, контролируют все возможные исходы. Эти исследования являются золотым стандартом, так как являются довольно строгими, но требуют большого количества ресурсов.
• Метаанализы и систематические обзоры обобщают всю полученную информацию и помогают составить более общую картину мира.
Таким образом, если какие-то недоброжелатели пытаются доказать вам, что препарат, который проверяли только на несчастных лабораторных крысах, обязательно вылечит вас, вашу бабушку, вашу кошку и даже ваших домашних тараканов, это должно как минимум вызвать подозрение. Волшебных пилюль не существует, но мы всем человечеством очень пытаемся создать что-то реально эффективное.