Человеческой природе присуще принимать решения, опираясь на опыт и наблюдения из прошлого. С точки зрения эволюции, это абсолютно логично. Если вы видите, что кому-то стало плохо от еды или кого-то поранило животное, к которому человек подошел слишком близко, вы понимаете, что так делать не нужно. К сожалению, такой краткий путь не всегда приводит к хорошему мышлению. Например:

Все это примеры неправильных выводов, основанных на единичных случаях – сведениях, собранных на основе личного опыта. Обобщения на основании единичных случаев или вера в то, что они вернее научных свидетельств, становится источником проблем. Как верно подметил Майкл Шермер, основатель Общества скептиков, в книге «Тайны мозга: почему мы во все верим»: «Единичные случаи замечаешь невооруженным взглядом, а ради науки нужно стараться».

Одна из проблем, связанных с единичными случаями, заключается в том, что они не отражают весь спектр опыта. Люди склонны делиться неординарными историями – они скорее расскажут что-то очень ужасное или прекрасное, чем то, что вписывается в рамки нормы. Вспомните, что вы пишете в фейсбуке. В результате единственный вывод, который можно сделать о единичном случае, – то, что бывает и такое.

Если вы слышите, что какой-то человек курил и не заболел раком легких, это лишь подтверждает, что не у всех курильщиков бывает рак. Но на одной этой истории нельзя построить вывод о шансах среднего курильщика заболеть раком или о сравнительной вероятности рака легких у курящих и некурящих. Если бы у всех, кто когда-либо курил, находили рак легких, а у всех, кто никогда не курил, никогда не бывало рака легких, данные были бы намного убедительнее. К сожалению, реальный мир редко бывает настолько простым.

Возможно, вы слышали о людях, у которых возникали симптомы простуды и гриппа примерно в то же время, когда им поставили прививку от гриппа, и которые свалили свою болезнь на эту самую нее. Но одна эта последовательность событий, то есть корреляция, еще не значит, что первое действительно стало причиной второго. Статистики говорят о такой ошибке: корреляция не подразумевает причинно-следственную связь.

Совершая такую ошибку, мы часто упускаем из виду смешанный фактор – третий, возможно, неочевидный фактор, который влияет как на предполагаемую причину, так и на наблюдаемый эффект, мешая делать правильный вывод. В случае с прививкой от гриппа этим смешивающим фактором будет сезон простуд и гриппа. Людям предлагают от гриппа в то время года, когда выше вероятность заболеть, независимо от того, поставили им прививку или нет. Скорее всего, эти симптомы вызывает обыкновенная простуда, от которой прививка от гриппа не защищает.

В других случаях корреляция возникает совершенно случайно. Проверить ее между самыми разными фактами сейчас проще, чем когда-либо, поэтому обнаруживается масса ложных корреляций. Есть уморительный сайт (и книга) под названием «Ложные корреляции», полный глупых результатов. На приведенном ниже графике показана такая корреляция между потреблением сыра и смертью по причине запутывания в простынях.

Как-то раз, когда Лорен училась в старших классах, она почувствовала, что заболевает простудой, и ее папа велел ей пить много жидкости. В тот день она выпила половину упаковки малинового напитка Snapple, и, к ее удивлению, на следующий день ей стало намного лучше! Доказывает ли это, что малиновый Snapple – чудодейственное средство от простуды? Нет. Наверное, она просто быстро поправилась, потому что у нее был крепкий организм, а еще она обпилась малиновым напитком.

А может быть, она вообще не заболела. Просто у нее был плохой день, а на следующий ей стало лучше. Многие поставщики гомеопатических «лекарств» рассказывают о таких единичных случаях выздоровления в рекламе своих продуктов. Но они не говорят, что случилось бы без их «лечения». В конце концов, даже когда вы болеете, симптомы меняются день ото дня. Требуйте более достоверных данных, например тщательно проведенного научного эксперимента, прежде чем верить заявлениям производителей лекарств.

Чтобы собирать или оценивать экспериментальные научные свидетельства, первым делом нужно определить или понять их гипотезу – предполагаемое объяснение изучаемого эффекта (например, что Snapple быстро помогает от простуды). Определив гипотезу заранее, вы избежите ошибки меткого стрелка. В одном анекдоте человек нашел амбар, где сбоку были нарисованы мишени, а в центре каждой была дырка от пули. Человека поразила меткость стрелка, но потом он понял, что мишени нарисовали вокруг дырок уже после того, как были сделаны выстрелы. Аналогичная идея – это движущаяся мишень, где цель эксперимента изменяют, чтобы подтвердить желаемое уже после того, как станут известны результаты.

Один из методов, который часто называют золотым стандартом планирования экспериментов, – это рандомизированный контролируемый эксперимент, в котором участников случайным образом (рандомом) делят на две группы, а затем сравнивают результаты экспериментальной группы (которая получала лечение) с результатами контрольной группы (которая его не получала). Этот подход не ограничивается лишь медициной – его можно использовать в таких сферах, как реклама и разработка продуктов (в следующем разделе мы разберем подробный пример).

Популярная версия такого экспериментального проекта называется А/В-тестирование, где поведение пользователя сравнивают относительно версии А (экспериментальная группа) и версии В (контрольная группа) сайта или продукта, которые различаются потоком страниц, формулировкой текстов, изображениями, цветом и т. д. Такие эксперименты должны быть тщательно спланированы, чтобы выделить один фактор для изучения. Проще всего, если между группами есть только одно различие.

В идеале такие эксперименты проводят вслепую, чтобы участники не знали, в какой группе они оказались, и не смогли своей предвзятостью осознанно и неосознанно повлиять на результат. Классический пример – слепая проверка вкусов, которая гарантирует, что репутация бренда не повлияет на выбор людей.

Чтобы вывести идею слепого эксперимента на следующий уровень, люди, проводящие или анализирующие его, также не знают, к какой группе принадлежат участники. Этот дополнительный слепой фактор помогает исключить влияние эффекта ожиданий наблюдателя (также он называется искажением экспериментатора), где когнитивные искажения исследователей или наблюдателей заставляют их повлиять на результат, подталкивая его в том направлении, которого они ожидают.

К сожалению, такой слепой эксперимент не до конца предотвращает эффект ожиданий наблюдателя, поскольку исследователи все равно могут исказить результаты при подготовке и анализе исследования. Например, они читают только определенные статьи, выбирают гипотезы, основанные на заблаговременно придуманных идеях, и отчитываются о результатах лишь выборочно.

В медицине исследователи изо всех сил добиваются по-настоящему слепых испытаний. В 2014 году журнал British Medical Journal (BMJ) опубликовал пятьдесят три исследования, где сравнивались настоящие хирургические вмешательства с «фиктивными» операциями, «включая сценарий, когда пациенту ввели зонд и не провели никаких манипуляций, но он под действием успокоительных или общей анестезии не мог определить, проводилась ли операция».

Эти мнимые операции являются примером плацебо. Контрольные участники и экспериментальная группа получают одинаковые препараты или манипуляции, но на самом деле «лечение» контрольной группы не должно обладать никаким эффектом. Интересно, что сам факт получения того, от чего вы ждете положительного результата, может спровоцировать этот результат. Это называется эффектом плацебо.

В то время как само плацебо почти не влияет на некоторые вещи, например не может срастить сломанную кость, эффект плацебо вызывает заметные улучшения при множестве недугов. Обзор BMJ сообщил, что в 74 % испытаний пациенты, перенесшие мнимые операции, отметили некоторое облегчение своих симптомов, а в 51 % операций они выздоровели почти так же, как и настоящие пациенты.

При определенных условиях есть даже основания полагать, что эффект плацебо – не просто плод воображения. Например, плацебо-«обезболивающее» провоцирует ту же мозговую активность, что и настоящие обезболивающие препараты. Все родители знают, что надо «подуть на больное место», и это поможет. Точно так же ожидание побочного эффекта приводит к настоящим негативным последствиям даже при фальшивом лечении. Этот феномен называется эффектом ноцебо.

Одной из сложнейших вещей в планировании надежного эксперимента является определение конечной точки – метрики, которая используется для оценки гипотезы. В идеале конечная точка – это объективная метрика, которую можно легко измерить и последовательно интерпретировать. Вот примеры объективных метрик: жив ли человек, купивший продукт? Нажал ли пользователь кнопку на сайте?

Однако, когда идея, которая интересует исследователей, не является ясно просматриваемой или измеримой, они могут использовать прокси-конечную точку (еще ее называют суррогатной конечной точкой или маркером) – метрику, тесно связанную с конечной точкой, которую они измерили бы, если бы могли. Слово прокси означает замену кого-то или чего-то. Другие примеры использования этой ментальной модели включают в себя прокси-голосование (например, заочное голосование) и прокси-войну (например, текущие конфликты в Йемене и Сирии являются прокси-войной между Ираном и Саудовской Аравией).

Хотя качество университетов нельзя оценить одной объективной мерой, новостной журнал U.S. News and World Report пытается составить рейтинг учебных заведений с помощью прокси-меры, составленной из таких объективных факторов, как число выпускников и посещаемость, вместе с более субъективными мерами, такими как академическая репутация. Другие примеры распространенных прокси-мер включают в себя индекс массы тела (ИМТ) для оценки степени ожирения и IQ, которым измеряют интеллект. Прокси-меры более подвержены критике, потому что являются непрямыми мерами, и все эти три примера не исключение.

Чтобы понять, почему эта критика бывает обоснованной, рассмотрим аномальные сердечные ритмы (желудочковые аритмии), которые вызывают внезапную смерть. Были разработаны лекарства от желудочковой аритмии, и очевидно, что они должны защищать от внезапной смерти тех, кто их принимает. Но на самом деле использование этих препаратов приводит к значительному увеличению числа случаев внезапной смерти среди пациентов с бессимптомной желудочковой аритмией после сердечного приступа. Для этих пациентов снижение частоты желудочковых аритмий после лечения не является индикатором выживаемости, то есть хорошим показателем.

Несмотря на сложности при проведении хорошо организованных экспериментов, реальные научные доказательства надежнее единичных случаев, поскольку они позволяют делать правдоподобные выводы. Да, нужно остерегаться ложных корреляций и скрытых искажений (подробнее о них мы расскажем в следующем разделе), но в итоге вы получите результат, который сильно улучшит ваше мышление.