В предыдущем разделе мы упомянули несколько вещей, на которые нужно обратить внимание при рассмотрении или проведении эксперимента, – таких как эффект ожиданий экспериментатора и смешанные факторы. Есть еще несколько скрытых явлений, которых следует опасаться.

Прежде всего, иногда неэтично и непрактично случайным образом делить людей на разные экспериментальные группы. Например, если исследователи хотят изучить, как курение влияет на беременность, будет неправильно заставлять некурящих беременных курить. Курильщиками в исследовании, таким образом, могут быть те, кто решит продолжать курить, что приводит к искажению под названием систематическая ошибка отбора.

При систематической ошибке отбора нет никакой гарантии, что курение будет единственным различием между этими группами. Поэтому, если исследование покажет разницу, будет трудно определить, какую роль в этом сыграло курение. Например, женщины, которые решили продолжать курить во время беременности вопреки советам врачей, могут принимать и другие спорные с точки зрения медицины решения, которые приводят к неблагоприятным последствиям.

Систематическая ошибка отбора также возникает, если выборка эксперимента не является типичной для основной массы населения, как это бывает с онлайн-опросами. Если изучаемая группа не является типичной, то результаты нельзя применить для всех.

В общем, нужно очень осторожно делать выводы на основе нерандомизированных экспериментов. Комикс про Дилберта, приведенный ниже, высмеивает ошибку отбора, присущую множеству исследований, о которых говорят в новостях.

Похожую систематическую ошибку отбора делают родители, когда выбирают школу для своих детей. Понятно, что они хотят сделать все, что в их силах, и даже переезжают или доплачивают, чтобы дети учились в «лучших школах». Но почему эта школа считается лучше? Из-за учителей? Или детей там лучше готовят благодаря материальной обеспеченности родителей и интересу к образованию? Ошибка отбора, скорее всего, объясняет немалую долю высоких результатов экзаменов в этих школах и количество выпускников, поступивших в колледж.

Другой тип ошибки отбора, часто встречающийся в анкетах, – это искажение неответа, которое возникает, когда подгруппа людей не участвует в эксперименте после того, как была выбрана для него, то есть не отвечает на вопросы. Если причина отсутствия ответа связана с темой анкеты, конечный результат будет искаженным.

Например, ваша компания хочет понять, есть ли у сотрудников проблемы с мотивацией. Как и во многих компаниях, эту потенциальную проблему можно изучить с помощью опроса. Сотрудники, которые пропустили опрос из-за того, что по графику были в отпуске, будут случайными и вряд ли внесут искажение, а вот сотрудники, которые пропустят его из-за апатии, будут неслучайными и, скорее всего, исказят результат. Ведь эта группа состоит из сотрудников, которые не увлечены работой, и, если они откажутся участвовать, их апатия не будет зафиксирована.

Подобные опросы также редко учитывают мнение бывших сотрудников, а это тоже искажает результаты. Это искажение называется систематической ошибкой выжившего. Возможно, несчастные сотрудники уже уволились, но вы не учтете их мнение, если опросите только тех, кто остался в компании. Таким образом, результаты будут искажены, ведь вы опросили только «выживших».

Получается, что на опросы нельзя полагаться из-за этих искажений? Не всегда. Почти у каждого метода есть недостатки, и редко можно избежать искажений в том или ином виде. Нужно только знать потенциальные проблемы исследования и учитывать их в своих выводах. Например, если вы знаете о систематической ошибке выжившего, можно изучить данные собеседований перед увольнением, чтобы проверить, не было ли проблем с мотивацией у покинувших вас сотрудников. А можно попытаться опросить и их.

Еще несколько примеров демонстрируют, какой незаметной бывает ошибка выжившего. Во время Второй мировой войны исследователи военно-морского флота изучили повреждения самолетов, вернувшихся с операций, чтобы улучшить их оборону в будущих миссиях. Глядя на пробоины в самолетах, они решили оснастить дополнительной защитой места, которые пострадали сильнее всего.

Но статистик Авраам Уолд заметил, что в исследовании участвовали только самолеты, вернувшиеся с операций, а не то множество самолетов, которые были сбиты. Таким образом, он сделал противоположный вывод, который оказался верным: пробоины были в тех местах, попадание в которые самолет может выдержать и вернуться невредимым, а вот попадание туда, где не было дырок, скорее всего, приводило к падению.

История жизни Билла Гейтса и Марка Цукерберга может подтолкнуть вас к выводу, что надо бросить учебу и погнаться за своей мечтой. Однако вы смотрите только на «выживших». Вы не замечаете всех тех недоучек, которые не смогли выбиться в люди. Более повседневный пример можно увидеть в архитектуре: старые здания обычно кажутся красивее, чем их современные аналоги. Но эти здания пережили эпохи. В те времена была построена масса уродливых домов, которые уже снесли.

Когда вы критически оцениваете исследование (или проводите его самостоятельно), нужно спросить себя: кого не хватает в выборке? Почему ваша выборка может оказаться неслучайной по сравнению с остальным населением? Например, если вы хотите нарастить клиентскую базу компании, вы не должны проверять исключительно существующих клиентов. Скорее всего, в такую выборку вообще не войдет бо́льшая часть потенциальных клиентов. Они могут вести себя совершенно иначе, чем существующие (как ранние пользователи и раннее большинство). Еще одним типом незаметной ошибки является искажение ответа. Искажение ответа появляется, когда множественные когнитивные искажения мешают дать точный или правдивый ответ респондентам. Например, в опросе о мотивации сотрудников люди могут солгать (или умолчать о чем-то), опасаясь наказания.

В общем и целом искажение ответа влияет на результаты опросов множеством способов, включая следующие:

• формулировка вопросов (например, наводящие или провокационные вопросы);

• порядок вопросов, где один вопрос влияет на последующие ответы;

• плохая или неточная память респондентов;

• сложности с отображением чувств в виде чисел, например в рейтингах от 1 до 10;

• попытки респондентов выставить себя в лучшем свете.

Стоит попытаться учесть все эти скрытые искажения (систематическую ошибку отбора, искажение неответа, искажение ответа, систематическую ошибку выжившего), потому что после этого вы станете еще увереннее в своих выводах.