Фальсификация, ошибка, воспроизведение

Суд может определять, что в науке значит «воспроизведение результатов»

В кавардаке научного мира споры обычно решались со временем, когда накапливались свидетельства в пользу одной гипотезы и против другой. Так было до сих пор.

10 апреля 2006 г. экономист Джон Лотт подал в суд на экономиста Стивена Левитта и издательство Harper Collins, где в 2005 г. вышла книга Левитта «Фрикономика». Иск касался того, что имел в виду Левитт, когда написал, что ученые не смогли «воспроизвести его результаты», ссылаясь на книгу Лотта «Больше оружия — меньше преступлений» (More Guns, Less Crime), вышедшую в 1998 г. в издательстве Чикагского университета. Лотт на основе сложного статистического анализа данных об эффекте законодательства о скрытном ношении оружия пришел к выводу, что в штатах, где закон разрешал гражданам скрытное ношение оружия, значительно снижалось количество ограблений, изнасилований и убийств по сравнению со штатами, где такого разрешения не было.

Как обычно происходит с такими политически окрашенными исследованиями, книга Лотта вызвала немалые споры, вылившиеся в поток докладов на конференциях и статей в журналах, часть из которых подтверждала результаты Лотта, а часть — нет. Лотт и его критики, например, спорили по поводу фактов в серии статей, опубликованных в юридических обзорах Йеля и Стэнфорда (см. http://papers.ssrn.com).

В книге «Фрикономика» Левитт предложил собственную теорию снижения преступности в 1990-х гг., основанную на деле «Роу против Уэйда». Согласно Левитту, дети, рожденные в бедной и неблагополучной среде, с большей вероятностью становятся преступниками. После решения по делу «Роу против Уэйда» миллионы бедных одиноких женщин сделали аборт, а не родили потенциальных преступников — спустя 20 лет количество преступников резко сократилось, сократилось и количество преступлений. Левитт применил сравнительный статистический анализ и показал, что в пяти штатах, где аборты были легализованы за два года до процесса «Роу против Уэйда», преступность снизилась раньше, чем в остальных 45. Более того, именно в штатах с наибольшим уровнем абортов в 1970-х гг. сильнее всего снизилась преступность в 1990-х гг. И наконец, Левитт показал, что на снижение количества потенциальных преступников повлияли еще три фактора: повышение процента дел, заканчивающихся тюремным заключением, возросшее количество полицейских и лопнувший «кокаиновый пузырь».

Левитт отбрасывает фактор, рассматриваемый Лоттом, в одной фразе в середине 30-страничной главы, где заключает, что интригующая гипотеза Лотта весьма мало похожа на правду. Когда другие ученые попытались повторить его результаты, то обнаружилось, что право на ношение оружия отнюдь не уменьшает преступность.

В иске Лотта говорится, что «термин "воспроизвести" имеет точное фактическое значение» и что другие исследователи «должны анализировать те же данные, что Лотт, тем же самым образом, чтобы понять, могут ли они прийти к такому же результату». Левитт, написав, что им это не удалось, «обвиняет Лотта в фальсификации результатов».

Я спросил Левитта, что он понимает под воспроизведением. «Я использовал этот термин в том же смысле, что и большинство ученых, — подтверждение результатов». Подтверждение, не дублирование. Хотел ли он сказать, что Лотт фальсифицировал результаты? «Нет, я этого не хотел сказать». Вообще-то, были и такие, кто прямо обвинял Лотта в фальсификации, так что я поинтересовался, почему он судится именно с Левиттом. «Одно дело, когда неизвестно кто возводит напраслину в Интернете. Но когда тебя обвиняет профессор экономики в книге, изданной уважаемым издательством, с продажами больше миллиона экземпляров — это совсем другое. К тому же Левитт широко известен и, к сожалению, его заявления имеют определенный вес. После "Фрикономики" меня много раз спрашивали, правда ли это, что другим не удалось воспроизвести мои выводы».

«Воспроизвести» — глагол, зависящий от подлежащего в предложении. «Воспроизведение методологии» может согласовываться с пониманием Лотта, но «воспроизведение результатов» — это проверка выводов, сделанных на основе этой методологии, в данном случае вывода о том, что больше оружия значит меньше преступлений. Загвоздка в том, что многие научные эксперименты и статистические ряды данных настолько сложны, что невозможность воспроизведения скорее указывает на непреднамеренные ошибки в исходном исследовании или в процессе воспроизведения, а не на сознательную фальсификацию.

Г-н Лотт, снесите эту юридическую стену и позвольте нам вернуться к научным исследованиям без адвокатов. Воспроизвести результаты — значит не просто повторить методологию, но проверить гипотезы, и этот основополагающий принцип науки может действовать лишь в атмосфере открытых взаимных оценок.

Дополнение: федеральный судья вынес решение в пользу Левитта: его заявление во «Фрикономике» о том, что ученые не смогли воспроизвести результаты Лотта, не было признано клеветой. Но иск Лотта в отношении обвинений в электронных письмах был удовлетворен, и Левитту пришлось опубликовать опровержение. См. http://bit.ly/1lC5AH5 и http://bit.ly/Y2j70a.