Книга: Смерть экспертизы
Назад: Ошибки бывают разными
Дальше: Я думал, ты студент pre-med[38]

Когда эксперт обманывает

Первые годы двадцать первого века выдались непростыми для ученых. Количество статей, опубликованных в научных журналах, а затем отозванных, достигло рекордных пропорций. Подлог и должностные преступления стали почти рутиной.
Обману со стороны эксперта несложно дать определение, но его бывает сложно выявить. Очевидным должностным преступлением является фальсификация результатов исследователем, или ложь самозваного «эксперта» о наличии у него соответствующей квалификации, дипломов. (Ученые называют подобные действия, используя аббревиатуру «ФФП» – «фабрикация, фальсификация или плагиат».) Такого рода недобросовестность бывает сложно выявить, так как на это способен только другой эксперт. Обычные же люди не имеют специальной подготовки, позволяющей анализировать научные работы, так же как не имеют привычки внимательно рассматривать дипломы на стене на предмет их подлинности.
Иногда эксперты на самом деле вовсе не эксперты. Люди лгут относительно своей квалификации, и лгут беззастенчиво. Это своего рода высший пилотаж мошенничества, которым занимался «великий притворщик» Фрэнк Абигнейл в 1960-е годы (впоследствии о нем был снят фильм «Поймай меня, если сможешь»), прикидываясь, в том числе, пилотом и врачом. Более распространенный, но и более искусный вид обмана встречается, когда люди, которые на самом деле являются экспертами, дополняют свои дипломы или сертификаты фальшивыми учеными степенями или лживой саморекламой. Они могут утверждать, что являются членами профессиональных ассоциаций, или что участвовали в семинарах или симпозиумах, или что становились лауреатами или призерами, и сообщать тому подобные ложные сведения. Обычно таких людей разоблачают только тогда, когда что-то заставляет других тщательно изучить их данные.
Когда лгут настоящие эксперты, они ставят под удар не только свою профессию, но также благополучие своего клиента, то есть общества. Угроза профессиональной компетентности, таким образом, проявляется не только в последствиях их махинаций, но и в подрыве общественного доверия всякий раз, когда подобная недобросовестность вскрывается. Вот почему (помимо любых законных санкций, положенных за обман и мошенничество) профессиональные организации, научные учреждения, научно-исследовательские центры, журналы и университеты самые суровые свои наказания приберегают для случаев сознательного совершения должностных преступлений подобного рода.
Такие наказания, вопреки распространенному мнению, действительно существуют. Среди большинства американцев бытует миф, что невозможно уволить ученых и преподавателей университетов. Нельзя сказать, что это абсолютно беспочвенное утверждение, потому что уволить штатного профессора действительно довольно сложно. И хотя у большинства профессоров в их контрактах есть пункт о «моральной нечистоплотности», социальные нормы двадцать первого века понизили эту планку до такой степени, что практически никакие действия профессора в его профессиональной или личной жизни не могут заставить руководство лишить его должности. Очевидные примеры поведения, за которое грозит увольнение, такие как угроза физической расправы над студентом или явный отказ выходить на работу, все же могут спровоцировать увольнение, но все остальное в плане личного поведения, как правило, остается без внимания.
Однако в большинстве учебных заведений должностные преступления продолжают быть «красной линией». Академическая свобода гарантирует право высказывать непопулярные или нетрадиционные взгляды, но она не является лицензией на халатное отношение к своим исследованиям и тем более на преднамеренный обман. Так, например, когда руководство университета штата Колорадо уволило Уорда Черчилля – преподавателя, который сравнил жертв атак 11 сентября с нацистами – они уволили его не за проявленное бесчувствие, а за то, что его комментарии привлекли повышенное внимание к степени его «учености». Оказалось, что отдельные части его научной работы были плагиатом. Черчилль, естественно, настаивал на том, что он – жертва политической предубежденности. Он пытался обжаловать решение о своем увольнении, имея статус госслужащего, в различных судебных инстанциях, вплоть до Верховного Суда штата Колорадо, но проиграл.
Нет никаких сомнений в том, что личное дело Черчилля привлекло пристальное внимание только из-за его политических взглядов. И именно на этом основании Черчилль подавал судебный иск, настаивая на том, что его плагиат на самом деле заключался в нескольких добросовестных заблуждениях, которые обнаружились только тогда, когда он высказал свое, отличное от других, мнение. Но это уже само по себе вызывает тревогу: неужели нужно назвать людей, погибших в башнях-близнецах, «нацистами», как сделал Черчилль, чтобы кто-то повнимательнее присмотрелся к профессиональной деятельности профессора? Утверждения о том, что факт плагиаторства был обнаружен только потому, что профессор умудрился привлечь к себе внимание своими одиозными комментариями, вряд ли можно назвать защитой.
И все же невозможно обойти вниманием данный феномен: немалое количество опубликованных научных исследований, в лучшем случае сомнительны, а в худшем – фальсифицированы.
Случай с Черчиллем можно считать в какой-то степени уникальным, и не в последнюю очередь потому, что он вызвал общественный резонанс. Большинство эпизодов недобросовестного исполнения профессиональных обязанностей в академической среде остается незамеченными широкой публикой. Случай с исследованием гей-браков 2014 года, продемонстрировавшим масштабную фальсификацию данных, был исключением и привлек всеобщее внимание в основном из-за того, что его выводы могли иметь далеко идущие политические последствия. Большинство научных исследований далеко не так интересны, как то, в котором утверждается, что людей можно убедить отказаться от их гомофобных взглядов, а потому они не вызовут подобного резонанса.
Однако менее громкие случаи бывают не менее серьезны. В 2011 году было обнаружено, что ученый, доктор наук, получивший правительственный грант и работавший в Колумбийском университете, фальсифицировал результаты исследования в области цитологии, связанного с болезнью Альцгеймера. Ученый согласился не брать федеральных грантов в течение трех лет, но к тому времени, когда его действия вскрылись, на его статью уже ссылались другие ученые, причем как минимум 150 раз. В 2016 году в Испании отстранили от работы женщину-ученого, обвинив ее в подлоге, связанном с исследованием в области сердечно-сосудистых заболеваний.
В другом более драматичном эпизоде у доктора Эндрю Уэйкфилда из Великобритании, опубликовавшего спорное исследование, в котором проводились параллели между вакцинацией и аутизмом, отозвали медицинскую лицензию. Представители медицинских властей Англии заявили, что они забрали у него лицензию не потому, что он отстаивал спорный тезис, а потому, что нарушил множество базовых правил проведения научного исследования. Генеральный медицинский совет Великобритании обнаружил, что Уэйкфилд «осуществлял инвазивные исследования на детях, не имея необходимого одобрения комитета по этике, действовал вопреки клиническим интересам отдельного ребенка, не сообщил должным образом о наличии конфликта интересов в финансовой сфере и незаконно присваивал денежные фонды».
Как и в случае с Уордом Черчиллем, сторонники Уэйкфилда настаивали на том, что он жертва «охоты на ведьм». Но подложные научные регалии – не то же самое, что должностное преступление. Так, например, Питер Дюсберг, один из главных ВИЧ-диссидентов, продолжает работать в Университете Беркли, несмотря на обвинения в должностном преступлении. В их отношении университет провел свое собственное расследование в 2010 г. и полностью оправдал профессора.
И все же невозможно обойти вниманием данный феномен: немалое количество опубликованных научных исследований, в лучшем случае сомнительны, а в худшем – фальсифицированы. И пусть это слабое утешение для дилетантов, но причина, почему мы вообще узнаем, что подобные нарушения происходят, в том, что сами ученые во всех областях признают это. Когда в 2005 году проводился опрос среди ученых, им был задан вопрос, применяли ли они лично сомнительные академические методы, и около 2 процентов опрошенных подтвердили факт фабрикации, фальсификации или «модификации» данных минимум однажды. А 14 процентов ученых утверждали, что они были свидетелями подобного поведения своих коллег. На вопрос о случаях серьезных нарушений, не ставших предметом прямых обвинений в фальсификации данных, треть респондентов признались, что они применяли менее очевидные, но нечистые методы работы, например, игнорируя те открытия, которые противоречили их собственным. Более 70 процентов опрошенных заявили, что наблюдали подобное поведение у своих коллег.
По большей части такое халатное отношение к работе остается незамеченным широкой публикой, потому что ей это совсем неинтересно. В отличие от драматических историй о массовом жульничестве, представленных в таких известных фильмах, как «Эрин Брокович» или «Свой человек», большинство случаев отзыва статей в научных журналах связано с незначительными ошибками или неправильной подачей информации. Неприятности чаще происходят со статьями по естественным наукам, вероятно из-за того, что содержащиеся в них выводы легче проверить.
Действительно, ученые-естественники могли бы подчеркнуть, что сам по себе факт отзыва статьи говорит о профессиональной ответственности и контроле. У научных и медицинских журналов, наиболее авторитетных в своей области – например, у журнала New England Journal of Medicine – процент отзыва публикаций, как правило, выше. Но, правда, никто до конца не уверен, почему это так. Возможно, потому, что большее число специалистов проверяют результаты, и это обнадеживает. А, быть может, потому, что все больше людей действуют в обход правил, чтобы попасть в самые лучшие журналы, и тогда это довольно печальная ситуация. Кроме того, срабатывает эффект публикации материала в престижном журнале: чем больше у них читателей, тем больше вероятность, что кто-то попытается использовать данные исследования в своей собственной работе, распространяя, таким образом, и дальше неверные данные.
Эталоном любого научного исследования является возможность воспроизвести результаты или, по крайней мере, ход эксперимента. Вот почему ученые и исследователи указывают ссылки в сносках: не только в качестве гарантии против плагиата, но и для того, чтобы их коллеги могли воспроизвести их работу. Так они словно бы заново осуществляют данное исследование и приходят (или не приходят) к тем же выводам. Если ученые занимаются фальсификацией результатов, тогда их выводы будет трудно воспроизвести, что дискредитирует их исследования.
Однако подобного рода проверка предполагает, что для начала кому-то должно понадобиться воспроизвести конкретное исследование. Обычная экспертная оценка не включает проведение повторных экспериментов; скорее, рецензенты читают статью, будучи заранее уверенными, что базовые стандарты исследования и все процедуры соблюдены. В первую очередь, они решают, важна ли данная тема, насколько качественны представленные сведения и подтверждает ли фактический материал сделанные выводы.
Конечно, для воспроизведения результатов исследования в таких точных науках, как химия или физика, требуется большая уверенность в достоверности фактов. Общественные науки, такие как социология и психология, опираются на исследования, связанные с личностью исследуемого человека и, таким образом, труднее воспроизводимы. По крайней мере, в естественных науках более четкие стандарты: если кто-то утверждает, что определенный вид пластика плавится при 100 градусах, тогда любой другой человек, имея образец такого же материала и горелку Бунзена, может проверить эти сведения. Когда сотню студентов-добровольцев просят поучаствовать в опросе или эксперименте, ситуация заметно осложняется. Результаты могут относиться, например, только к определенному времени или конкретному региону или быть искажены каким-то иным способом. В проекте исследования должны учитываться подобные моменты, но единственный способ проверить его – попытаться повторить эти эксперименты.
Это именно то, что должна была сделать команда исследователей в области психологии. Результаты данного исследования, по меньшей мере, удивили. Как сообщила в 2015 году газета New York Times, в ходе трудоемкой работы по воспроизведению сотни исследований, опубликованных в трех ведущих журналах по психологии, обнаружилось, что более половины добытых сведений не прошли повторной проверки.
«Анализ проводили психологи, изучающие данные научных исследований, многие из которых пожертвовали своим временем, чтобы перепроверить то, что считали важной работой… Подтвержденные исследования являлись частью ключевых данных, с помощью которых психологи оценивали поведение человека, его взаимоотношения с другими людьми, уровень знаний и память. Терапевты и педагоги опираются на подобные данные при принятии решений. И тот факт, что так много исследований было поставлено под сомнение, может вызвать недоверие к научной базе данных работ».
Такой итог является поводом для беспокойства, но можно ли расценивать это, как подлог? Неприемлемого качества исследование и недобросовестно выполненная работа – разные вещи. В большинстве подобных случаев проблема не в том, что воспроизведение исследования дало иной результат, а в том, что сами исследования были изначально «невоспроизводимы». То есть их выводы, возможно, и полезны, но другие исследователи не смогут провести тех же самых экспериментов с участием людей снова и снова.
На самом деле, в психологии дело могло быть даже не в плохой организации научно-исследовательской работы. В дальнейшем еще одна группа ученых внимательно проверила саму попытку воспроизведения результатов – в конце концов, именно так работает наука – и пришла к выводу, что она была, по словам гарвардского ученого Гэри Кинга, «совершенно недобросовестной и даже безответственной». Кинг отметил, что, несмотря на то, что воспроизводимость исследования – «невероятно важный» вопрос, который должен волновать ученых, «неправда, что все социальные психологи высасывают свои работы из пальца». Вся история вопроса, включая все встречные контраргументы, представлена в настоящее время на страницах журнала Science, где эксперты могут продолжать оценивать имеющиеся аргументы и подвергать их дальнейшему анализу.
Так значит в естественных науках чаще, чем в общественных, разоблачают своих недобросовестных коллег? Не совсем. Когда ученые, занимавшиеся исследованием рака, попытались воспроизвести работы своих коллег, они столкнулись с теми же проблемами, что психологи и все остальные. В 2016 году Дэниел Энгбер, журналист с сайта Slate.com, сообщил, что группа ученых, занимавшаяся биомедицинскими исследованиями, высказала предположение о наличии «кризиса воспроизводимости», очень похожего на то, что происходит у психологов. Он также отметил, что по некоторым оценкам «ровно половина всех результатов исследований основывается на шатких данных и вряд ли может быть воспроизведена в других лабораториях». Эти исследования в области рака не только не помогают найти способы лечения, они зачастую не могут предложить никакой полезной информации». Препятствия для воспроизведения были практически те же самые, что и у представителей общественных наук: небрежность, время проведения исследования, неспособность воспроизвести точные условия первых испытаний и пр.
И здесь мы переходим от обсуждения работы сфальсифицированной к обсуждению работы, которая была выполнена просто некачественно. Однако это слишком сложная проблема, чтобы обсуждать ее в данном формате. И все же «кризис воспроизводимости» в научном сообществе основан не только на массовых фальсификациях. Помимо разных временных и прочих трудностей идеального воспроизведения, наблюдается также плохой контроль над получением грантов, прессинг со стороны научных учреждений, требующих представлять опубликованные результаты исследований (какими бы тривиальными они ни были) и тенденция среди ученых забрасывать подальше свою статью или исследование, после того как они были опубликованы.
И все же «кризис воспроизводимости» в научном сообществе основан не только на массовых фальсификациях.
Исследования в области общественных и гуманитарных наук особенно трудно воспроизвести потому, что они основаны не на экспериментах, а, скорее, на толковании экспертами отдельных работ или событий. Образец литературной критики – вот что это напоминает. Критика, а не наука. И все же это экспертная оценка, требующая глубоких знаний предмета. Точно так же изучение Карибского кризиса – это нечто иное по сравнению с экспериментом в области естественных наук. Мы не можем повторить события октября 1962 года снова и снова, а потому автор, исследующий последствия данного кризиса, представляет экспертный анализ одного конкретного исторического случая. Подобное исследование может изобиловать ложными выводами, но оно является исходным материалом для дальнейшей дискуссии, а вовсе не примером профессиональной халатности.
И все равно в области общественных и гуманитарных наук происходили удивительные случаи откровенного подлога. В 2000 году историк из Университета Эмори, Майкл Беллисайлз, получил престижную премию Банкрофта Колумбийского университета в области истории за свою книгу «Вооруженная Америка» (“Arming America”). В ней он попытался развенчать идею о том, что отношение американцев к оружию берет свое начало в раннем колониальном опыте: по его мнению, оно сформировалось спустя почти сто лет. Данное исследование мгновенно вызвало споры, потому что его автор настаивал на том, что в колониальной Америке ношение оружия не было распространенным явлением.
Кроме того, исследование, которое могло остаться незамеченным, привлекло внимание из-за самого предмета обсуждения, когда сторонники контроля над огнестрельным оружием и их противники сразу же определились со своей позицией в данном вопросе. Но когда другие ученые попытались отыскать источники, на которых основывался Беллисайлз, они пришли к выводу, что он либо неверно их использовал, либо придумал. Колумбийский университет отозвал у него премию Банкрофта. Университет Эмори провел свое собственное расследование, в ходе которого обнаружилось, что хоть некоторые ошибки Беллисайлза и можно было объяснить некомпетентностью, все равно возникали неизбежные вопросы о его репутации, как ученого. Вскоре после этого Беллисайлз покинул свой пост. Первый издатель отказался от продажи его книги, хотя впоследствии ее переиздало небольшое частное издательство.
В 2012 году писатель Дэвид Бартон опубликовал книгу, посвященную Томасу Джефферсону. Бартон не был профессиональным историком; публичную известность он приобрел в основном благодаря своему активному участию в евангелическом движении. (В 2005 году журнал Time назвал его одним из двадцати пяти самых влиятельных фигур в этой области.) Его книга снискала ему признание и покровительство ведущих консерваторов, включая претендентов на пост президента в 2012 году, Майка Хакаби и крупного политика Ньюта Гингрича, начинавшего свою карьеру как историк.
Как и в случае с исследованием Беллисайлза, работа Бартона вызвала живой интерес из-за ее политического подтекста, а также известности автора. Даже в названии автор не выбирал выражений: «Вся ложь о Джефферсоне: Мифы, в которые вы верили». В книге Бартона указывалось на то, что современные историки не только опорочили его личную жизнь, но также обошли своим вниманием то, что многие его взгляды были созвучны современным консервативным убеждениям. Что касается идеи о том, что Джефферсон восхищался революционной Францией, и что впоследствии его ассоциировали с либерализмом (в противовес его давнему сопернику, консерватору Джону Адамсу), то это, по его мнению, было смелым утверждением.
Большинство профессиональных историков проигнорировали книгу, которую написал любитель, а выпустило религиозное издательство. Но книга в любом случае предназначалась не для ученых, а для тех, кто изначально проявлял к ней интерес. Бартон добился своей цели: книга «Вся ложь о Джефферсоне» быстро оказалась в списке бестселлеров New York Times.
Однако вопрос достоверности фактов вскоре был поставлен под сомнение, и вовсе не безбожными университетскими либералами, а двумя учеными из Гроув-Сити-Колледжа, маленькой христианской школы в Пенсильвании. Под более пристальным взглядом многие идеи Бартона рассыпались. Позднее читатели History News Network признали ее «книгой, заслуживающей наименьшего доверия». Но самым убийственным стало то, что сами издатели признали, что книга никуда не годится, и изъяли ее из обращения. Журналист из Atlantic, профессор права Гаррет Эппс в своей хлесткой рецензии отметил: «Большинство книг Бартона издается за его собственный счет, и потому их никогда не изымут из продажи. Но отповедь со стороны христианских ученых и христианского издательства это позорное клеймо, которое он вынужден будет носить до конца».
Во всех этих случаях факты мошенничества и подлога были вскрыты. Для обычного человека окончательные выводы в данном случае не имеют большого значения. И тем не менее возникает ключевой вопрос: можно ли вообще доверять исследованиям в любой области.
В какой-то степени этот вопрос неверный. Редко когда одно-единственное исследование способно решить судьбу целого направления. Среднестатистическому исследователю не обязательно полагаться на результаты какого-то конкретного проекта, скажем, в цитологии. Когда объединяют целую группу исследований с целью создать какое-то лекарство или метод лечения, то последующие исследования будут направлены на то, чтобы проверить его безопасность и эффективность. Можно сфальсифицировать одно исследование. Но когда происходит фальсификация сотен исследований, что приводит к неверным или опасным результатам, то это совсем другое дело.
Ни одно исследование в области публичной политики не предоставляет доказательств профессиональных полномочий эксперта. Даже когда специалист привлекает к себе внимание политического сообщества своей книгой или статьей, его или ее авторитет зависит не от научной воспроизводимости работы, а от идей, которые в ней представлены. В общественных науках, как и в точных науках, редко когда одно-единственное исследование способно повлиять на жизнь обычных граждан, если предварительно оно не прошло, по крайней мере, рецензирования экспертами.
Однако подлог оказывает свое существенное влияние в той или иной научной сфере, растрачивая впустую время и тормозя прогресс. Точно так же ошибка, закравшаяся в сложные дебри формул, способна застопорить последующие вычисления; а подлог или небрежность могут задержать целый проект, пока кто-то не вычислит, кто напутал – или намеренно подтасовал факты. Когда подобные случаи становятся известны широкой публике, то, конечно, возникают законные вопросы о масштабе и последствиях недобросовестного выполнения служебных обязанностей, особенно если на исследование были выделены деньги из государственного бюджета.
Назад: Ошибки бывают разными
Дальше: Я думал, ты студент pre-med[38]