В марте 2012 года нас с моим великолепным коллегой Доном Муром пригласили давать показания в Совете по надзору за отчетностью публичных компаний США (PCAOB), созданном в 2002 году законом Сарбейнса – Оксли в ответ на экономическую неэффективность Enron, аудиторской компании Arthur Andersen и ряда других организаций. PCAOB проводил слушания о том, следует ли вменить в обязанность коммерческим организациям регулярно менять аудиторские фирмы, чтобы аудиторы получили бо́льшую независимость. Наше приглашение в вашингтонский офис PCAOB несколько отдавало театральностью. Председатель Совета Джеймс Доти заранее знал, что мы скажем, поскольку мы приводили этот аргумент на протяжении 15 лет – и напрасно пытались убедить руководство компаний способствовать настоящей независимости аудиторов. Сидя перед пятью членами Совета и залом, полным не согласных с реформой аудиторов и представителей деловых СМИ, мы с энтузиазмом еще раз повторили наши аргументы в пользу независимости.

Обсуждение слишком отдавало бюрократией, поэтому позвольте мне познакомить вас с его подоплекой. Правительство США, как и правительства многих развитых стран, понимает, что на финансовые отчеты компаний вынуждены полагаться многие третьи стороны (инвесторы, стратегические партнеры и т. д.), когда принимают решение, стоит ли инвестировать в компанию или взаимодействовать с ней. Поэтому корпорации обязаны проходить аудит в независимых фирмах, и специально для проведения независимого аудита была создана целая отрасль. В 1984 году от имени абсолютного большинства председатель Верховного суда США Уоррен Бергер в своем выступлении на суде по делу Соединенных Штатов Америки против Arthur Young & Company заявил, что аудиторы должны неукоснительно соблюдать полную независимость от клиента.

В своих показаниях для PCAOB я привел аргумент, который впервые опубликовал в 1997 году, затем повторил в своих показаниях для Комиссии по биржам и ценным бумагам в 2000 году и который я теперь представлю вам. А именно: в США независимый аудит отсутствует, при том что для создания независимости нужны до смешного очевидные меры, но мы никак не можем осуществить необходимые для этого изменения. Соединенные Штаты Америки стали требовать от фирм, чтобы они проходили дорогостоящий независимый аудит, однако отрасль была создана таким образом, что единственное, чего она не может обеспечить, – это независимости. И «большая четверка» аудиторских фирм, доминирующих в отрасли, невероятно успешно манипулирует американской юридической и политической системами. Она стремится сохранить свои рынки и прибыль за счет тех, для кого было создано требование независимого аудита. Между тем большинство сегментов общества не замечает всего масштаба проблемы.

Так в чем же, собственно, состоит проблема? В том, что мы регламентировали отношения, при которых аудиторы мотивированы угождать своим клиентам, – а при таком положении вещей аудиторская независимость невозможна. Более того, мы сделали эту порочную практику легитимной во всей отрасли. Согласно нынешнему закону, аудиторским фирмам выгодно работать на одного клиента как можно дольше. Аудиторская фирма, которая не одобрила отчетность клиента, в перспективе рискует потерять его. Кроме того, аудиторским фирмам очень выгодно дополнительно продавать своим клиентам другие услуги, в том числе консалтинг. Во многих случаях прибыль, которую фирмы получают от сторонних услуг, значительно превышает прибыль от аудиторских. Кроме того, как консультанты они скомпрометировали себя, поскольку дают пристрастные советы тем самым фирмам, чьи отчеты они должны непредвзято проверять. Наконец, отдельные аудиторы часто переходят из своей фирмы в проверяемую компанию. И даже больше: переход к клиенту – самый часто встречающийся вид смены работы аудиторами. Вместе все это приводит к тому, что аудиторским фирмам оказывается выгодно во всем идти навстречу клиентам, а не честно проводить аудит их отчетов. В результате «независимые фирмы» вовсе не независимы. Все эти обстоятельства действовали в отношениях между Arthur Andersen и Enron. Достаточно назвать такой простой факт: Enron была клиентом Arthur Andersen с 1986 года – практически с момента своего основания и вплоть до гибели.

В первой статье по вопросу аудиторской независимости, написанной мною совместно с Кимберли Морган и Джорджем Лоуенштейном в 1997 году [4], мы утверждали, что, принимая решение, люди обычно считают, что конфликт интересов – это возможность выбора между выполнением обязательств и действиями в своих интересах. Трейдер или сообщает в регулирующие органы о манипуляциях с индексом, или умалчивает о них в интересах собственных инвестиций. Конфликт очевиден, а выбор предрешен. Считая, что конфликт интересов – это вопрос выбора, мы придем к тому, что его разрушительное влияние можно предотвратить, воздействуя убеждением или санкциями. Однако многочисленные исследования показывают, что мы интерпретируем информацию в зависимости от собственного желания, даже если мы пытаемся смотреть на вещи объективно и беспристрастно. Мы зачастую считаем, что прекрасно умеем водить машину, что наши дети умнее среднестатистических, что акции или инвестиционные фонды, которые мы выбираем, принесут доход выше рыночного – даже несмотря на очевидные свидетельства противоположного. Мы не придаем значения фактам, противоречащим выводам, к которым мы хотим прийти, и мы некритично воспринимаем свидетельства в пользу нашей позиции. Не понимая, насколько искаженно мы обрабатываем информацию, мы ошибочно заключаем, что наши суждения беспристрастны.

Уже 50 лет назад было экспериментально доказано, как сильно люди подвержены ошибкам эгоистичности. В одном знаменитом исследовании Линда Бэбкок, Джордж Лоуэнштейн, Сэм Иссахарофф и Колин Камерер попросили участников инсценировать переговоры между адвокатами истца и ответчика [5]. Парам участников выдали одинаковые материалы дела о столкновении мотоцикла и автомобиля: отчеты полиции и медиков, показания под присягой и т. д. Изучив их, участникам следовало договориться о выплате компенсации истцу. Однако в случае, если им не удавалось прийти к соглашению, размер компенсации должен был определить судья, и обеим сторонам в таком случае надлежало выплатить значительный штраф. Перед переговорами участников просили оценить размер компенсации, которую судья назначит истцу, если соглашение не будет выработано в ходе переговоров. Каждого из них заверили, что другая сторона не увидит его прогноза и что он не повлияет на решение судьи. Кроме того, участников поощряли к тому, чтобы их прогнозы были максимально достоверны. Несмотря на это, прогноз тех, кто представлял истца – мотоциклиста, оказывался в среднем почти в два раза выше, чем прогноз представителей ответчика.

Целью работы, которую я проводил совместно с Доном Муром и Ллойдом Танлу, была проверка интенсивности подобных конфликтов интересов. Мы снабдили участников исследования информацией о потенциальной продаже вымышленной компании и попросили оценить ее стоимость [6]. Каждому назначали одну из четырех ролей: покупателя, продавца, аудитора покупателя и аудитора продавца. Все участники получили одну и ту же информацию, в том числе такую, что помогала им оценить стоимость фирмы. Те, что играли аудиторов, предоставляли своим клиентам оценку стоимости компании. Оценка продавцов всегда оказывалась выше оценки покупателей [7]. Еще интереснее то, что аудиторы были, очевидно, пристрастны в отношении своих клиентов: аудиторы продавца публично заявляли, что фирма стоит гораздо больше суммы, в которую ее оценили аудиторы покупателя.

Была ли пристрастность намеренной, или людям свойственно попирать нормы этики, даже не понимая, что они поступают плохо, – то, что мы с моими коллегами называем «ограниченной этичностью» [8]? Для того чтобы понять это, мы просили аудиторов как независимых экспертов оценить реальную стоимость компании. Кроме того, мы пообещали, что за точность суждений их ждет вознаграждение. Аудиторы продавца оценили стоимость компании в среднем на 30 % выше, чем аудиторы покупателя. Эти результаты дают веские основания предполагать, что информация о целевой компании была воспринята участниками исследования предвзято: роль аудитора влияла на их оценку и ограничивала способность замечать пристрастность в поведении своих клиентов. Даже гипотетические взаимоотношения с клиентом искажали суждения людей, игравших роль аудиторов. Более того, мы повторили это исследование с настоящими аудиторами из фирм «большой четверки». Нет сомнения в том, что долгосрочные отношения, которые приносят миллионы долларов дохода, могут оказывать даже более сильное влияние. Аудиторы не в состоянии дистанцироваться от своих клиентов из-за необъективного отношения к тем, кто оплачивает их счета.

Когда мы впервые представили данные нашего исследования ошибок эгоистичности в аудите в начале нового тысячелетия, психологи сказали следующее: «Мы знаем это, и знаем уже давно». Исследования в области психологии доказали, что люди, имеющее эгоистичный интерес в том, чтобы рассматривать данные под определенным углом, уже не могут сохранять независимость. Другими словами, мы обвинили аудиторов в том, что им не чуждо ничто человеческое. Между тем представители бухгалтерской профессии отнеслись к нашим результатам свысока, поскольку считали, что аудиторы полностью независимы. Среди них были служащие крупнейших бухгалтерских фирм, бухгалтерские работники из научной среды и, как показало их бездействие, регулирующие органы. Думаю, все они могли верить, что предвзятость возникает лишь намеренно, а аудиторы как честные люди обладают иммунитетом от пристрастности.

В корпоративном мире много плохих парней, намеренно преступавших закон. Среди них такие, как Бернард Мэдофф, Джеффри Скиллинг, Кеннет Лэй и Эндрю Фастоу. Но я искренне считаю, что более серьезный вред нанесли многие из нас – те, что ненамеренно совершали нечестные действия, наблюдали, как другие люди преступают нормы морали, и молчали об этом. СМИ привлекли внимание к истории падения Марка Хаузера и Дидерика Стапеля, однако в намеренной подтасовке данных было замечено лишь небольшое количество психологов. Но если подобное мошенничество происходит нечасто, мы не должны успокаиваться на том, что наши собственные работы полностью честны. В научных кругах рождается гораздо более важная история: ученые с самыми благими намерениями подрывают репутацию своей работы и, более того, всю научную область, не понимая, что они что-то делают не так.

Как представители общественных наук, проводящие количественные исследования, так и рецензируемые журналы используют определенный критерий, показывающий, является ли результат статистически значимым. Этот критерий заключается в том, что уровень значимости должен оказаться меньше 0,05. Другими словами, вероятность того, что данный результат получился случайно, будет меньше 5 %. Ученые используют множество различных статистических методов проверки, но критерий р < 0,05 фигурирует в большей их части. Исследователи понимают, что результаты эксперимента должны удовлетворять критерию р < 0,05 – иначе не видать им публикации в ведущих научных журналах. Однако можно увеличить свои шансы на то, что уровень значимости будет меньше 0,05, в частности использовать так называемую степень свободы [9].

Представим себе, что у исследователя есть гипотеза, будто мужчины в целом склонны инвестировать более рискованно, чем женщины [10]. Контроль статистической значимости оправдан, если исследователь выбирает один способ проверки своей гипотезы и заранее решает, сколько мужчин и женщин будут участвовать в эксперименте. И вот вы приводите группу людей в лабораторию и попросите их принять инвестиционное решение: куда вкладывать деньги, в акции или облигации. Обнаружив, что мужчины более склонны выбирать акции, вы получите доказательства в пользу своей гипотезы. Но что если вы предложите участникам исследования акции и облигации с разной степенью риска? Как вы проверите следующее:

1) что мужчины чаще выбирают акции, а женщины – облигации;

2) что мужчины предпочитают акции с более высокой степенью риска, чем женщины;

3) что мужчины предпочитают облигации с более высокой степенью риска, чем женщины;

4) что мужчины в целом готовы пойти на более высокий уровень риска в своих инвестициях, по результатам испытаний тремя различными методами агрегирования, разработанными представителями науки о финансах (4а, 4б и 4в).

Теперь представьте себе, что в вашем эксперименте участвуют 15 мужчин и 15 женщин. Результаты склоняются в предсказанном вами направлении, однако они не соответствуют уровню значимости р < 0,05. Вы вновь проводите эксперимент с другими 15 женщинами и 15 мужчинами. Теперь результаты минимально значимы (уровень значимости колеблется между 0,1 и 0,05), поэтому вы проводите эксперимент еще раз – теперь с 20 мужчинами и 20 женщинами. Наконец, объединив результаты трех экспериментов, вы видите, что мужчины значительно чаще, чем женщины, выбирают инвестиции с большей степенью риска.

Основная идея этого гипотетического примера заключается в том, что исследователь может использовать множество разных выводов для проверки одной идеи; на языке ученых, он может собрать множество зависимых переменных. Если результаты полученного им массива данных близки к уровню значимости, ничто не мешает ему собрать дополнительную информацию – то есть несколько раз попытаться добиться, чтобы результат удовлетворял критерию р < 0,05. Кроме того, часть данных он может исключить (странные ответы, предполагающие, что участники не поняли задание), после того как вся информация собрана, и он видит, что это положительно повлияет на результаты.

В 2011 году исследователи-психологи Джо Симмонс, Лейф Нельсон и Ури Симонсон опубликовали великолепную работу, в которой показали, что использование четырех степеней свободы и доля креативности почти наверняка приведут любые убедительные доказательства к вероятности р < 0,05, даже если проверяемая гипотеза неверна [11]. Даже если для проверки своей идеи множеством разных способов исследователь использует случайные данные, его шанс достичь желаемого эффекта значительно превышает 5 % – и он может затем опубликовать тот вариант, который дал нужные результаты. Симмонс с коллегами демонстрируют, что очень небольшое количество степеней свободы позволяет поднять вероятность получения значимого результата выше 50 % даже с использованием случайных данных. Другими словами, их исследование показывает, что более чем возможно работать в рамках установленных правил и прийти к желаемым, но неверным результатам.

Цитируемые журналы косвенно поддерживают недостоверные методы и подходы, которые встречаются в исследованиях. Они не требуют, чтобы ученые описывали полученные данные и эксперименты полностью, якобы потому, что это займет слишком много места. А чем больше субъективность в данной области, тем выше вероятность использования спорных методов исследований. Это означает, что в общественных науках они встречаются особенно часто.

В своей работе на ту же тему Лесли Джон, Джордж Лоуэнштейн и Дражен Прелеч провели опрос среди исследователей-психологов с использованием сложной процедуры, заставляющей людей отвечать честно. Они задавали вопросы об использовании ряда недостоверных исследовательских методов и подходов [12]. Их интересовало вот что: 1) замалчивание части зависимых величин, полученных в ходе исследования (результатов, которые были оценены); 2) принятие решения о том, собирать ли дополнительные данные, после проверки значимости полученных результатов; 3) замалчивание всех условий или вариантов исследования; 4) прекращение сбора данных раньше, чем предполагалось, поскольку желаемый результат уже получен; 5) округление уровня значимости в желаемую сторону (например, округление 0,054 до 0,05); 6) выборочная публикация результатов экспериментов, которые «сработали», и умолчание о том, что не получилось; 7) принятие решения об исключении данных после оценки влияния этого шага на результаты; 8) сообщение о том, что неожиданное открытие предполагалось с самого начала; 9) лживое заявление, будто на результаты не влияют демографические переменные (такие как пол), и 10) фальсификация данных. Последний пункт – это подтасовка, в которой были замешаны Хаузер и Стапель. Мы же поговорим о девяти других – их считают менее вредоносными.

По оценкам Лесли Джон и ее коллег, доля исследователей-психологов, которые используют спорные методы и подходы, разнится от 36 до 74 % для первых пяти пунктов, равна 13 % для девятого пункта и 9 % – для десятого. Даже если эти цифры завышены в два раза, использование исследователями недостоверных методов и подходов поражает. Мы приходим к очевидному выводу – велика вероятность того, что многие результаты, о которых сообщается в научной литературе и затем в СМИ, просто не соответствуют действительности.

Как мы докатились до такого состояния дел в общественных науках? Надо начать с того, что в последние годы конкуренция в науке неуклонно растет. Сегодня гораздо сложнее, чем 30 лет назад, когда я был младшим преподавателем, получить престижную должность в университете. Количество публикаций свежеиспеченных кандидатов наук, претендующих на свое место на рынке труда, огромно. И это отнюдь не странно. Ученые из лучших университетов имеют больше шансов привлекать внимание СМИ, получать высокие гонорары за выступления и выгодные контракты на книги – поэтому ставки на выигрыш хороших должностей высоки. В то же время редакторы журналов хотят публиковать «интересные» результаты. Для того чтобы напечатать больше статей на ограниченном количестве страниц, многие ведущие журналы сократили место, отведенное на публикацию подробностей методов исследования. Все эти факторы вместе мотивируют ученых использовать слишком много степеней свободы и не замечать нечестности своих поступков. Так происходило, по крайней мере, до тех пор, пока Симмонс, Джон и их коллеги не привлекли внимание общественности, наглядно продемонстрировав это в своих работах. Многие из нас, ученых, просто следовали советам своих учителей, предложениям редакторов журналов и стандартным схемам, принятым в нашей области. Мы шли по проторенной дорожке, и нам не приходило в голову остановиться и подумать о том, что мы сводим на нет сам смысл использования уровня значимости – критерия р < 0,05. Многих из нас эта прекрасная работа подтолкнула к тому, чтобы изменить свои методы и подходы, она показала, насколько важно описывать, как мы ведем свои лабораторные исследования.

Но не все психологи поддерживают мой энтузиазм по поводу реформирования исследовательских методов. Авторов этих двух работ широко критиковали за мелкие детали их системы. Например, доля ответивших на опрос, который провела Джон с коллегами, составила всего 36 %, что вызвало сомнения в репрезентативности выборки. Из-за этого может показаться, что результаты опроса были трагически завышены. Но стойте: кто с большей вероятностью заполнит анкету по исследовательской этике: ученые, соблюдающие ее правила, или те, кто их нарушает? Ответ на этот вопрос с достаточной очевидностью показывает, что оценки Джон и ее коллег, скорее, занижены.

Джон и ее команду также обвиняли в том, что они нарушили правила этики, чтобы привлечь к себе внимание, критиковали их и за то, что они не понимают основ исследовательских методов. Оба обвинения голословны: авторы работы – известные ученые, привыкшие быть в центре внимания, у всех у них длинные списки публикаций, демонстрирующие, что в методах они прекрасно разбираются. Критики подчеркивали те нередкие случаи, в которых спорные исследовательские методы и подходы вполне простительны, и обвиняли авторов в том, что те хотят разрушить социальную психологию как научную область. Они пытались оправдать нежелание предавать широкой огласке полученные выводы тем, что нельзя выносить сор из избы (то есть раскрывать секреты социальной психологии прессе). И, наконец, критики заявляли, что вместо претворения в жизнь необходимых реформ следует провести дополнительные исследования, особенно по проблеме степеней свободы. Наблюдая за всей этой возней, за попытками защититься и отложить насущные дела в долгий ящик, я с ужасом понял, что мои коллеги поступают в точности как представители американской табачной индустрии, как люди, отрицающие глобальное потепление, или как аудиторская отрасль – все они стараются противостоять позитивным изменениям в своих областях [13].

Проблема степеней свободы не ограничивается общественными науками и конкретными методами. Скорее, перед всеми учеными она ставит вопрос о том, как проводить исследования более честно. Ведь, говоря начистоту, мы выпустили некачественный продукт, и пресса жестко раскритиковала нас за это. Проблема степеней исследовательской свободы была объединена с проблемой фальсификации данных, а ведь это совершенно разные вещи. Но путаница налицо, и причина ее заключается в том, что психологи-исследователи закрывали глаза на внутренний конфликт интересов. Мы не смогли узаконить использование фальсифицированных данных, но сочли приемлемыми многие из методов и подходов, описанных Джон и ее коллегами. Это происходило по мере того, как учителя демонстрировали своим аспирантам, что многие из таких методов стандартны – что это всего лишь исследовательский эквивалент превышения скорости на пять километров в час.