Глава 7. Измерение и закон распределения ошибок
Не так давно мой сын Алексей, вернувшись из школы, сообщил об оценке по английскому, полученной им за последнее сочинение. Ему поставили 93 балла. Будь все как обычно, я бы поздравил его с высшей оценкой – А. Но поскольку в пределах А это невысокий балл, а я знаю, что он способен на большее, я бы не преминул добавить: оценка говорит о том, что если в следующий раз он приложит чуть больше усилий, то получит более высокий балл. Однако все было отнюдь не как обычно, и я счел 93 балла возмутительной недооценкой сочинения. Здесь вам, верно, подумалось, что предыдущие несколько предложений говорят больше обо мне, нежели об Алексее. Что ж, вы совершенно правы. На самом деле, вся эта история обо мне, потому что сочинение за Алексея написал я.
О да, позор на мою голову! В свою защиту должен сказать, что в более мирных обстоятельствах скорее дотянулся бы за Алексея пяткой до подбородка на его занятиях по кунг-фу, чем писал бы за него сочинение. Но дело в том, что Алексей подошел ко мне с просьбой взглянуть на его работу как обычно, поздно вечером, в день перед сдачей сочинения. И я пообещал взглянуть. Начав читать сочинение с экрана компьютера, я поначалу внес несколько незначительных изменений – ничего такого, на что стоило бы обратить внимание. Однако затем редактор во мне начал шаг за шагом переставлять и перефразировать то и это, а когда дошел до конца, оказалось, что Алексей уже спит крепким сном, а я по сути написал новое сочинение. На следующее утро, смущенно признавшись, что поленился сохранить файл под новым именем, я сказал ему, чтобы он просто сдал мой вариант.
Сын протянул мне проверенное сочинение, похвалив его весьма сдержанно. «Неплохо, – сказал он. – Оно, конечно, 93 балла – это скорее А с минусом, чем А, но было уже поздно, и если бы у тебя не слипались глаза, наверняка справился бы лучше». Не сказать, чтобы я был рад. Во-первых, мало приятного в том, что твой пятнадцатилетний сын говорит тебе те самые слова, которые ты прежде обращал к нему, и при этом они кажутся тебе совершенно пустыми. Но кроме того, как могло мое сочинение – труд человека, которого даже собственная мать считает профессиональным писателем, – не получить достойной оценки у школьного учителя английского? Понятное дело, я был не одинок. Уже потом мне рассказали о другом писателе, с которым приключилась точно такая же история, с той лишь разницей, что его дочь получила еще более низкую оценку – В. Тексты, выходившие из-под пера этого писателя с докторской степенью по английскому языку, вполне удовлетворяли даже столь взыскательные издания, как «Роллинг Стоун», «Эсквайр» и «Нью-Йорк Таймс», но только не учителя средней школы. Алексей попытался утешить меня, поведав еще одну историю. Как-то раз двое его друзей сдали одно и то же сочинение. Сын решил, что они сглупили, и их немедленно разоблачат. Однако перегруженная учительница не только не заметила удвоения, но и поставила за одно сочинение 90 баллов (А), а за другое – 79 (С). На первый взгляд, странно, но только если вам не доводилось, как мне, ночь напролет проверять здоровенную стопку работ, гоняя по кругу, чтобы ненароком не заснуть, музыку из «Стар Трек».
Числам всегда приписывается особый вес. Рассуждение, во всяком случае, неосознанно, строится примерно так: если учитель оценивает сочинение по стобалльной шкале, эти незначительные различия и в самом деле что-то значат. Но если десять издателей сочли, что рукопись первого тома «Гарри Поттера» не заслуживает публикации, то каким образом бедная миссис Финнеган (на самом деле ее зовут не так) проводит тонкое различение между двумя школьными сочинениями, ставя за одно 92 балла, а за другое 93? Если мы допускаем, что качество сочинения в принципе поддается определению, то нам придется признать, что оценка – не описание качества сочинения, но его измерение, а измерение, как ничто другое, подвержено случайности. В случае с сочинением измерительный инструмент – учитель, а в выставляемых им оценках, как и в любом измерении, проявляются случайная дисперсия и ошибки.
Еще один вид измерения – голосование. В этом случае мы измеряем не столько количество людей, поддерживающих того или иного кандидата на момент выборов, сколько количество тех, кто не поленился прийти в избирательный участок и проголосовать. В этом измерении тоже множество источников случайной ошибки. Одни законные избиратели, приходя в участок, обнаруживают, что их имя не внесено в списки для голосования. Другие по ошибке голосуют не за того, за кого собирались. Конечно же, ошибки возникают и при подсчете голосов. Часть бюллетеней ошибочно признается недействительными или, напротив, действительными. Еще часть может быть утеряна. Как правило, даже все эти факторы в совокупности не могут повлиять на исход выборов. Однако в случае выборов, где у соперников шансы на победу приблизительно равны, они могут сыграть свою роль, и тогда голоса обычно подсчитываются не один, а несколько раз, как если бы второй или третий подсчет были меньше подвержены влиянию случайной ошибки, чем первый.
Например, в 2004 г. во время выборов губернатора штата Вашингтон победителем в конечном счете был объявлен кандидат от демократов, хотя при первом подсчете кандидат от республиканцев обходил его на 261 из приблизительно 3 млн голосов. Поскольку результаты обоих кандидатов были столь близки друг к другу, по закону штата требовался повторный подсчет голосов. По результатам этого подсчета республиканец вновь обошел демократа, но только на 42 голоса. Неизвестно, счел ли кто-нибудь дурным предзнаменованием тот факт, что разница в 219 голосов между первым и вторым подсчетами в несколько раз превосходила новое значение перевеса в количестве голосов, но в итоге состоялся третий подсчет голосов, на сей раз полностью «вручную». Перевес в 42 голоса получался благодаря лишь одному голосу на каждые 70 000, а потому ручной пересчет голосов можно сопоставить с попыткой попросить 42 человек посчитать от 1 до 70 000 в надежде, что каждый сделает в среднем меньше 1 ошибки. Естественно, результат вновь изменился. На сей раз получился перевес в 10 голосов в пользу демократа. Впоследствии он вырос до 129 голосов, когда в подсчет было включено 700 вновь обнаруженных «утерянных бюллетеней».
Ни процесс подсчета голосов, ни сам процесс голосования нельзя назвать совершенным. Если, например, по причине ошибки в работе почтовой службы 1 из 100 потенциальных избирателей не получит извещения с адресом избирательного участка, а еще 1 на каждых 100 таких избирателей по этой причине не проголосует, то в вашингтонских выборах это вылилось бы в 300 избирателей, которые хотели бы проголосовать, но не получили такой возможности в силу ошибки правительства. Выборы, как и любое измерение, неточны, пересчеты тоже, поэтому когда кандидаты набирают близкое количество голосов, разумнее принять результаты выборов такими, какие они есть, или попросту подбросить монетку, а не тратить время на бесконечные пересчеты.
Вопрос неточности измерений приобрел особо важное значение в середине XVIII в., когда в центре внимания астрономов и математиков оказалась проблема согласования законов Ньютона и наблюдаемого движения Луны и планет. Один из способов получения единственного значения на основе целого ряда несовпадающих измерений – усреднение, или вычисление среднего значения. По всей видимости, первым эту процедуру использовал в оптических исследованиях молодой Исаак Ньютон. Однако, как и в целом ряде других случаев, Ньютон опередил здесь свое время. В ту пору, да и в следующем веке, большинство ученых не занимались подсчетом среднего. Вместо этого они выбирали среди своих измерений «золотой стандарт» – значение, которое интуитивно признавали наиболее надежным среди своих результатов. Дело в том, что отклонения в измерениях они рассматривали не как неизбежный побочный продукт процесса измерения, но как свидетельство небрежности, у которой могли быть последствия, в том числе и этического характера. Они даже избегали публиковать результаты множественных измерений одного и того показателя, полагая, что это будет сочтено проявлением неаккуратности в работе и вызовет недоверие. Но к середине VXIII в. положение дел начало меняться. В наши дни рассчитать примерные орбиты небесных тел, представляющие собой набор эллипсов, приближенных по форме к окружности, может любой сообразительный старшеклассник, который при этом даже не подумает снять наушники с громыхающей в них музыкой. Однако же описать движение планет с большей точностью, учитывая не только силу притяжения Солнца, но также и притяжение других планет, а кроме того, отклонения в форме Луны и планет от совершенной сферы, непросто даже сейчас. Чтобы достигнуть этой цели, необходимо согласовать сложные и приближенные математические вычисления с неточностями наблюдений и измерений.
Но есть еще одна причина, по которой в конце XVIII в. оказалась востребована математическая теория измерения: в 1780-х гг. во Франции начала складываться новая область точной экспериментальной физики. До этого времени в физике сосуществовали две не связанные друг с другом исследовательские традиции. С одной стороны, математики занимались изучением строгих следствий из ньютоновых теорий движения и тяготения. С другой стороны, те, кого принято именовать экспериментальными философами, проводили эмпирические исследования электричества, магнетизма, света и температур. Представителей экспериментальной философии, зачастую ученых-любителей, строгая научная методология занимала в значительно меньшей степени, нежели математически ориентированных исследователей, и потому возникло движение, направленное на то, чтобы реформировать и математизировать экспериментальную физику. И вновь ведущую роль здесь сыграл Пьер-Симон де Лаплас.
Лаплас заинтересовался физикой благодаря работам своего коллеги и соотечественника, французского ученого Антуана Лорана Лавуазье, которого считают отцом современной химии. Лаплас и Лавуазье много лет работали вместе, однако Лавуазье в значительно меньшей степени преуспел в искусстве выживания в то беспокойное время. Чтобы заработать деньги на свои многочисленные опыты, ему пришлось стать членом привилегированной частной коллегии откупщиков, работавших под защитой государства. Я не представляю себе времен, когда человека, занимающегося сбором налогов, жаждали бы пригласить домой на чашечку горячего кофе с имбирными пряниками, но когда грянула Французская революция, должность эта оказалась особенно ненадежным прикрытием. В 1794 г. Лавуазье арестовали вместе со всеми членами коллегии и приговорили к смертной казни. Будучи человеком до конца преданным науке, Лавуазье попросил об отсрочке исполнения приговора, чтобы закончить некоторые опыты и опубликовать результаты. На что председатель трибунала дал знаменитый ответ: «Республике ученые не нужны». Отца современной химии безотлагательно обезглавили, а тело бросили в общую могилу. По легенде, он поручил своему ассистенту подсчитать количество слов, которые попытается выговорить его лишенная тела голова.
Работы Лапласа и Лавуазье, а также ряда других ученых, прежде всего Шарля-Огюстена де Кулона, проводившего опыты с электричеством и магнетизмом, преобразили экспериментальную физику. Кроме того, эти работы внесли вклад в развитие в 1790-х гг. новой метрической системы, пришедшей на смену множеству разрозненных и несопоставимых систем, тормозивших развитие науки и нередко служивших причиной споров между торговцами. Новую метрическую систему, разработанную группой ученых, сформированной по указу Людовика XVI, революционное правительство узаконило уже после падения Людовика. По иронии судьбы, Лавуазье был одним из членов этой группы.
Требования как астрономии, так и экспериментальной физики были таковы, что на долю математиков конца XVIII – начала XIX вв. выпали прежде всего осмысление и подсчет случайной ошибки. Их усилиями возникла новая область – математическая статистика, занимающаяся разработкой методов для интерпретации данных наблюдений и опытов. Специалисты в области статистики зачастую считают, что рост современной науки начался именно с этих разработок – с развития теории измерения. Однако статистические методы используются и для решения задач повседневной жизни: например, для оценки эффективности лекарственных препаратов или популярности политиков. Поэтому понимание правил осуществления статистических выводов важно не только для тех, кто занимается наукой, но и для каждого из нас.
Один из парадоксов нашей жизни заключается в том, что хотя измерения всегда несут в себе некоторую погрешность, когда речь заходит об измерениях, реже всего говорят именно о погрешности. Если въедливый полицейский докладывает судье, что его радиолокатор показал, будто бы вы ехали со скоростью 62 км в час в зоне, где допустимый предел скорости – 56, то штрафа вам не избежать, хотя в показаниях прибора возможны отклонения на несколько км в час. И хотя большинство школьников (не говоря уже об их родителях) согласились бы даже спрыгнуть с крыши, если бы это увеличило балл на выпускном тесте по математике с 598 до 625, исследования, о которых вам расскажет редкий работник в области образования, показывают: достаточно высока вероятность получить лишних 30 баллов, если пройти тест еще разок-другой. А иногда малозначащие различия попадают в выпуски новостей. Некоторое время тому назад в августе Статистическое управление министерства труда США сообщило, что безработица находится на уровне 4,7 %. В июле управление сообщало о показателе 4,8 %. Изменение показателя немедленно нашло отражение в газетных заголовках; к примеру, вот что напечатала на первой странице «Нью-Йорк Таймс»: «Количество рабочих мест и уровень заработной платы за прошлый месяц несколько выросли». Однако, как замечает Джин Эпштейн, редактор отдела экономики «Barron’s», «из того, что изменилась цифра, совершенно не обязательно следует, что изменилось положение дел. Например, всякий раз, когда показатель безработицы изменяется на десятую долю процента… изменение это столь незначительно, что никоим образом нельзя утверждать, будто бы оно вообще имело место». Иными словами, если Статистическое управление измерит показатель безработицы в августе и повторит измерение через час, то лишь благодаря случайной ошибке второе измерение будет с высокой вероятностью отличаться от первого по меньшей мере на десятую долю процента. И что, неужели мы прочитаем в «Нью-Йорк Таймс»: «Количество рабочих мест и уровень заработной платы к двум часам пополудни несколько выросли»?
Погрешность измерения становится еще более серьезной проблемой, когда количественные показатели приписываются субъективно, как в случае с сочинением Алексея. Например, группа исследователей в Пенсильванском университете Клэрион собрала 120 курсовых работ и проверила их с таким тщанием, с каким работы вашего ребенка не будут проверяться никогда: каждую курсовую независимо друг от друга оценивали восемь сотрудников факультета. Итоговые оценки (по шкале от A до F) иногда различались на два и более деления шкалы. В среднем различие между ними составило около одного деления шкалы. Поскольку будущее студентов очень часто зависит от подобного рода оценок, столь высокая погрешность – факт довольно печальный. Однако ее можно понять, если учесть, что взгляды и философия профессоров любого факультета в любом из университетов охватывают весь диапазон от Карла Маркса до Граучо Маркса. Можно ли подвергнуть этот фактор контролю? Например, дать экзаменаторам четкие критерии оценивания и потребовать следования этим критериям? Исследователь в университете штата Айова предъявил около 100 студенческих работ группе аспирантов, специалистов в области риторики и коммуникации, которых заранее обучил применению подобных критериев. Каждую работу оценивали по шкале от 1 до 4 два независимых «экзаменатора». При сопоставлении оценок выяснилось, что мнения экзаменаторов совпали лишь примерно в половине случаев. Аналогичные результаты были получены в Техасском университете при анализе оценок за вступительное сочинение. Даже почтенная Центральная приемная комиссия признается, что в случае двух экзаменаторов, согласно ее ожиданиям, «92 % сочинений получат оценки, различающиеся в пределах +/–1 балла по шестибалльной шкале для сочинений».
Еще одна область субъективных измерений, которым доверяют больше, чем следовало бы – оценка вин. В 1970-х гг. винный бизнес явно не переживал расцвета, а если и развивался, то преимущественно в сфере продаж дешевого столового вина. Однако в 1978 г. произошло событие, с которым часто связывают последующее стремительное развитие отрасли: некий юрист, Роберт М. Паркер-младший, объявил себя экспертом в области вин и решил, что вдобавок к своим публикуемым в прессе критическим обзорам будет давать винам количественную оценку по стобалльной шкале. Со временем большинство изданий, печатавших материалы о винах, последовали его примеру. На сегодняшний день американцы ежегодно выкладывают за винную продукцию более 20 млрд долларов, однако же среди миллионов любителей спиртных напитков редко когда найдется простак, который согласится раскошелиться, не взглянув предварительно на рейтинг приглянувшегося ему вина. Поэтому, когда журнал «Вайн Спектейтор» выставил, скажем, аргентинскому каберне-совиньону «Валентин Бьянки» 2004 г. не 89, а 90 баллов, этот единственный балл привел к огромному увеличению объема продаж «Валентин Бьянки». В самом деле, заглянув в местную винную лавку, американец обнаружит, что вина, выставленные на распродажу со скидкой, как правило, получают оценки на один или несколько баллов ниже 90. Но какова вероятность того, что аргентинское каберне «Валентин Бьянки» 2004 г., удостоенное 90 баллов, не получило бы 89, если бы процесс оценивания был повторен, предположим, час спустя?
В увидевшей свет в 1890 г. книге «Принципы психологии» Уильям Джеймс выдвинул предположение: умение разбираться в винах может дойти до способности различить вкус старой мадеры из верхней и нижней части бутылки. Во время дегустаций вин, на которых мне нередко доводилось бывать, я заметил, что если бородач слева от меня бормочет: «Прекрасный букет!», его поддерживает целый хор голосов. Но если оценивать предлагается самостоятельно и без обсуждений, то зачастую оказывается, что бородач написал «Прекрасный букет», его бритоголовый сосед нацарапал «Вообще никакого букета», а блондинка с перманентом пометила: «Интересный букет с оттенками петрушки и свежевыдубленной кожи».
С теоретической точки зрения, есть множество оснований поставить под сомнение результаты оценивания вин. Для начала скажем, что вкусовые ощущения определяются сложным взаимодействием между вкусовыми и обонятельными стимулами. Строго говоря, любое вкусовое ощущение определяется пятью типами рецепторов, располагающихся на поверхности языка: рецепторами соленого, сладкого, кислого, горького и «мясного» (умами). Последняя группа рецепторов соотносится с определенными аминокислотами (преобладающими, например, в соевом соусе). Но если бы этим все и ограничивалось, то вкус любой пищи – например, вашего любимого бифштекса, жареной картошки, праздничного яблочного пирога и изысканных спагетти по-болонски – можно было бы имитировать, используя лишь столовую соль, сахар, уксус, хинин и глутамат натрия. К счастью, этим дело не обходится, и на помощь приходит обоняние. Именно оно объясняет, почему, если взять два стакана с одинаковым раствором сахара и добавить в один из них клубничную эссенцию (не содержащую сахара), жидкость в этом стакане покажется вам слаще. Вкус вина определяется воздействием от 600 до 800 изменчивых органических составляющих на рецепторы как языка, так и носа. И что с этим делать – непонятно, ведь исследования показывают: даже профессиональные дегустаторы редко могут с уверенностью определить более 3–4 компонентов в смеси.
На восприятие вкуса влияют и ожидания. В 1963 г. трое исследователей тайком добавили в белое вино немного красного пищевого красителя, что придало вину розоватый оттенок. После этого группу экспертов попросили оценить сладость этого вина по сравнению с неподкрашенным. Эксперты, сообразно своим ожиданиям, оценили подкрашенное розовое вино как более сладкое. Другая группа исследователей предъявляла два образца вина будущим виноделам. Это были совершенно одинаковые образцы белого вина, но в один была добавлена капля безвкусного красителя – виноградного антоциана, в результате чего вино стало выглядеть как красное. Ученики-виноделы также сообщили о различиях во вкусе вин в соответствии со своими ожиданиями. А в 2008 г. группа добровольцев, которых попросили оценить пять бутылок вина, оценила бутылку с этикеткой «90 долларов» выше, чем бутылку с этикеткой «10 долларов», хотя хитрые ученые налили в обе бутылки одно и то же вино. Более того, во время этого опыта с помощью функционального магнитно-резонансного томографа регистрировалась активность мозга испытуемых. Обнаружилось, что зона мозга, активация которой обычно соотносится с переживанием удовольствия, действительно активируется в большей степени, когда испытуемые пьют вино, которое считают более дорогим. Но прежде чем осудить этих горе-ценителей, примите к сведению следующий факт: когда исследователи выяснили у 30 любителей колы, предпочитают ли они «Пепси-колу» или «Кока-колу», а потом попросили проверить свои предпочтения, продегустировав оба напитка, стоящие бок о бок, 21 человек из 30 сообщили, что проверка подтвердила их выбор, хотя коварные исследователи налили «Кока-колу» в бутылки от «Пепси-колы», и наоборот. Когда мы оцениваем или измеряем, наш мозг полагается отнюдь не только на непосредственно воспринимаемое, но использует и другие источники информации – например, ожидания.
Дегустаторов вин часто сбивает с толку и оборотная сторона ошибки ожидания – недостаток контекста. Поднося к носу корень хрена, вы едва ли перепутаете его с зубчиком чеснока, а запах чеснока не спутаете с запахом, скажем, стелек из ваших ношеных кроссовок. Но если вам приходится иметь дело с ароматом прозрачных жидкостей, оттолкнуться не от чего. В отсутствие контекста высока вероятность того, что ароматы будут перепутаны. Именно это случилось, когда исследователи предъявили экспертам набор из шестнадцати случайно отобранных запахов: эксперты неверно определили в среднем каждый четвертый запах.
Имея все основания для скептицизма, ученые разработали методы прямой оценки различения вкусов экспертами. Один из таких методов – использование «треугольника вин». Это не собственно треугольник, скорее метафора: каждому эксперту предъявляется три сорта вина, два из которых идентичны. Задача состоит в том, чтобы выявить отличающийся от остальных сорт вина. В исследовании 1990 г. эксперты успешно справились с этой задачей только в 2/3 случаев, то есть на каждые три пробы приходилась одна, в которой эти гуру не могли отличить пино нуар, допустим, «с роскошным букетом земляники, сочной ежевики и малины», от пино «с выраженным ароматом сушеного чернослива, желтой черешни и бархатистой черной смородины». В том же исследовании группу экспертов попросили оценить ряд вин по 12 параметрам: таким, как содержание алкоголя, присутствие танинов, сладость и фруктовый запах. Эксперты существенно разошлись в своих оценках по 9 из 12 параметров. Наконец, когда их попросили подобрать вина, подходящие под описания, данные другими экспертами, испытуемые выполнили задачу правильно только в 70 % случаев.
Сами дегустаторы в курсе всех этих трудностей. «Во многих планах… [система оценивания] лишена смысла», – говорит редактор журнала «Уайн энд спирит мэгэзин». А по мнению бывшего редактора «Уайн Энтузиаст», «чем глубже ты во все это погружаешься, тем больше понимаешь, насколько оно ошибочно и обманчиво». Тем не менее система оценивания процветает. Почему? Сами дегустаторы говорят, что когда они пытаются определить качество вина, используя систему звездочек или простейшие словесные ярлыки наподобие «хорошее», «плохое», «безобразное», их мнение звучит неубедительно. Но стоит перейти к использованию цифр, как покупатели начинают относиться к оценкам словно к божественному откровению. Как бы ни были сомнительны количественные оценки, именно они дают покупателям уверенность, что среди многообразия марок, производителей и урожаев им, словно в стоге сена, удастся отыскать золотую иголку (или хотя бы серебряную, если бюджет не позволяет).
Если качество вина (или сочинения) в самом деле может быть подвергнуто измерению в числовом выражении, то перед теорией измерения встает два вопроса. Во-первых, как получить это число на основе ряда отличающихся друг от друга измерений? Во-вторых, имея в виду, что число измерений ограничено, как вычислить вероятность того, что оценка верна? Рассмотрим эти вопросы, поскольку независимо от того, объективен или субъективен источник данных, теория измерения ставит себе целью найти на них ответы.
Ключ к пониманию измерения – постижение природы разброса данных, обусловленного случайной ошибкой. Предположим, мы попросили пятнадцать дегустаторов оценить некоторое вино, или же предложили оценить его несколько раз в разные дни одному и тому же дегустатору или прибегли к обеим процедурам. Мы можем подвести итоги оценивания, используя усреднение полученных оценок. Однако важную информацию содержит не только среднее значение: если все пятнадцать дегустаторов выставляют оценку 90, это одно, а если они выставляют оценки 80, 81, 82, 87, 89, 89, 90, 90, 90, 91, 94, 97, 99 и 100 – это совсем другое. Среднее значение обоих наборов данных одно и то же, но они различаются разбросом данных относительно этого среднего. А поскольку распределение данных – важный источник информации, для его описания математики предложили количественную меру разброса. Эта мера называется выборочным стандартным отклонением. Кроме того, математики измеряют разброс посредством квадратичной меры, которую называют выборочной дисперсией.
Стандартное отклонение показывает, насколько данные по выборке близки к среднему – или, в практическом смысле, какова погрешность измерения. Если оно невысоко, все данные группируются вокруг среднего. Например, для случая, когда все дегустаторы поставили вину оценку 90, стандартное отклонение равно 0, указывая на то, что все измерения идентичны среднему значению. В случае же высокого стандартного отклонения данные разбросаны относительно среднего. Например, когда вино оценивается дегустаторами в диапазоне от 80 до 100, выборочное стандартное отклонение равно 6. Это означает, что на практике большинство оценок попадет в диапазон от –6 до +6 относительно среднего. В рассмотренном случае о вине можно с высокой степенью уверенности сказать, что его истинная оценка, скорее всего, относится к диапазону от 84 до 96.
Пытаясь понять значение своих измерений, ученые XVIII–XIX вв. сталкивались с теми же проблемами, что и скептически настроенные ценители хороших вин. Ибо если группа исследователей осуществляет ряд наблюдений и измерений, результаты почти всегда получаются разными. Один астроном мог столкнуться с неблагоприятными погодными условиями, другой – покачнуться из-за порыва ветра, третий, возможно, только что вернулся от Уильяма Джеймса, с которым вместе дегустировал мадеру. В 1838 г. математик и астроном Ф. В. Бессель выделил одиннадцать классов случайных ошибок, которые могут возникнуть в ходе любого наблюдения с использованием телескопа. Даже если один и тот же астроном осуществляет ряд повторных измерений, результаты могут различаться из-за таких факторов, как неустойчивая острота зрения и влияние температуры воздуха на аппаратуру. Поэтому астрономам пришлось разбираться, как на основе ряда несовпадающих измерений установить истинное положение небесного тела. Но из того, что ценители вин и ученые сталкиваются с одной и той же проблемой, совсем не обязательно следует, что для них годится одно и то же решение. Можно ли выделить универсальные характеристики случайной ошибки, или же ее природа зависит от контекста?
Одним из первых предположение о том, что для разных типов измерений характерны одни и те же особенности, выдвинул Даниил Бернулли, племянник Якоба Бернулли. В 1777 г. он уподобил случайную ошибку в астрономическом наблюдении отклонениям в траектории выпущенной из лука стрелы. В обоих случаях, рассуждал он, цель – истинное значение измеряемой переменной или же «яблочко» мишени – располагается где-то посреди, а наблюдаемые результаты группируются вокруг нее, причем большинство должны лежать в окрестностях цели, и лишь немногие выпадают за их пределы. Закон, который Бернулли предложил для описания этого распределения, оказался неверен, однако важно само понимание того, что распределение ошибок лучника может быть сходно с распределением ошибок в наблюдениях астрономов.
Идея о том, что распределение ошибок подчиняется некому универсальному закону, который называют законом случайного распределения ошибок, является основополагающей для теории измерения. И вот что примечательно: допущение состоит в том, что при условии удовлетворения определенных условий довольно общего характера установить истинное значение некоторой переменной на основе ряда измерений можно с использованием одного и того же математического аппарата. Если в дело вступает универсальный закон, то задача установления истинного положения небесного тела на основе ряда наблюдений астрономов приравнивается к задаче нахождения центра мишени на основе дырочек от стрел или определения «качества» вина на основе ряда экспертных оценок. Именно поэтому математическая статистика – последовательная и согласованная область, а не просто набор трюков: неважно, осуществляете ли вы ряд измерений для того, чтобы установить положение Юпитера в 4 часа утра на Рождество или средний вес булок с изюмом, выходящих с конвейера, распределение ошибок будет одним и тем же.
Однако отсюда не следует, что случайная ошибка – единственный вид ошибок, которые могут повлиять на измерение. Если половина дегустаторов предпочитает красное вино, а другая половина – белое, однако во всех остальных отношениях они сходятся в своих суждениях (и предельно последовательны в их вынесении), то оценка каждого конкретного вина не будет определяться законом случайного распределения ошибок: распределение получится резко двугорбым, причем причиной появления одного из пиков станут любители красного вина, а другого – любители белого. Но даже в тех случаях, когда применимость закона случайного распределения ошибок не столь очевидна (начиная от футбольного тотализатора и заканчивая измерением коэффициента интеллекта), зачастую он все же оказывается применим. Много лет назад мне в руки попали несколько тысяч регистрационных карточек покупателей компьютерной программы, которую разработал для восьми– и девятилетних школьников мой приятель. Продажи шли не так хорошо, как ожидалось. Кто же покупал программу? После некоторых подсчетов я установил, что наибольшее число пользователей приходится на семилетних, указывая на нежелательное, но не то чтобы неожиданное расхождение. Но вот что самое удивительное: когда я построил гистограмму зависимости количества пользователей от возраста, взяв семь лет за среднее значение, я обнаружил, что построенный мною график принял крайне знакомую форму – форму закона случайного распределения ошибок.
Одно дело – подозревать, что лучники и астрономы, химики и маркетологи сталкиваются с одним и тем же законом распределения ошибок, и совсем другое – самому натолкнуться на частный случай этого закона. Подталкиваемые необходимостью анализировать данные астрономических наблюдений ученые, такие как Даниил Бернулли и Лаплас, постулировали в конце XVIII в. несколько вариантов закона, оказавшихся неверными. Однако выяснилось, что математическая функция, верно отражающая закон случайного распределения ошибок, – колоколообразная кривая – все это время была у них под носом. За много десятилетий до них она была открыта в Лондоне в контексте решения совсем иных задач.
Среди троих ученых, благодаря которым на колоколообразную кривую обратили внимание, реже всех воздается по заслугам именно ее первооткрывателю. Абрахам де Муавр совершил свое открытие в 1733 г., когда ему было за шестьдесят, однако до появления второго издания его книги «Об измерении случайности», вышедшего в свет пять лет спустя, об этом никто не знал. Де Муавр пришел к искомой форме кривой, когда пытался аппроксимировать числа, заполняющие треугольник Паскаля значительно дальше той строки, на которой оборвал его я, – сотнями и даже тысячами строк ниже. Когда Якоб Бернулли обосновывал свой вариант закона больших чисел, ему пришлось столкнуться с некоторыми свойствами чисел, появляющихся в этих строках. А числа действительно очень велики: например, одно из чисел в двухсотой строке треугольника Паскаля состоит из пятидесяти девяти цифр! Во времена Бернулли, да и вообще до тех пор, пока не появились компьютеры, эти числа было очень трудно высчитать. Именно поэтому, как я сказал, Бернулли обосновывал свой закон больших чисел, используя различные способы приближенного вычисления, что снижало практическую значимость результатов его работы. Де Муавр со своей кривой осуществил несравненно более точную аппроксимацию и потому значительно улучшил оценки Бернулли.
Как де Муавр осуществил свою аппроксимацию, становится понятно, если числа в ряду треугольника представить в виде высоты столбика на гистограмме – я поступил так с регистрационными карточками. Например, числа в третьей строке треугольника – 1, 2, 1. Тогда на гистограмме первый столбик будет высотой в одно деление, второй – вдвое выше, а третий – вновь высотой в одно деление. Рассмотрим теперь пять чисел в пятой строке: 1, 4, 6, 4, 1. На гистограмме будет пять столбиков, она вновь начнется с минимальной высоты, достигнет максимума в центре и продемонстрирует симметричное снижение. Если спуститься по треугольнику вниз, получатся гистограммы с огромным количеством столбиков, но поведение их будет тем же самым. Гистограммы для 10-й, 100-й и 1000-й строк треугольника Паскаля приведены на странице 139.
Если теперь провести кривые, соединяющие вершины столбиков на каждой из гистограмм, все они окажутся характерной формы, напоминающей колокол. А если несколько сгладить эти кривые, можно подобрать соответствующее им математическое выражение. Колоколообразная кривая – не просто визуализация чисел в треугольнике Паскаля: это инструмент, позволяющий получить точные и удобные в употреблении оценки значений чисел, появляющихся в расположенных ниже строках треугольника. В этом и состояло открытие де Муавра.
Сегодня колоколообразную кривую называют обычно нормальным распределением, а иногда – Гауссовой кривой (вскоре читатель узнает, откуда взялось это название). Нормальное распределение – не отдельная фиксированная кривая, но целое семейство кривых, определяемых двумя параметрами, задающими положение кривой и ее форму. Первый из них – расположение пика: в графиках на странице 174 это 5, 50 и 500 соответственно. Второй – степень разброса. Этот показатель, получивший свое современное наименование лишь в 1894 г., называется стандартным отклонением и представляет собой теоретический аналог понятия, о котором я уже упоминал – выборочного стандартного отклонения. Грубо говоря, это половина ширины кривой в той точке, где кривая достигает своей 60 %-ной высоты. В наше время значение нормального распределения выходит далеко за пределы аппроксимации чисел в треугольнике Паскаля. Это самая распространенная форма распределения любого рода данных.
При описании распределения данных колоколообразная кривая демонстрирует, что в том случае, когда вы делаете много замеров, большинство их результатов будут примыкать к среднему значению, что отображается в виде пика. Симметрично снижаясь по обе стороны от пика, кривая показывает, как убывает число результатов замеров ниже и выше среднего, поначалу довольно резко, а потом не столь круто. Если данные распределены нормально, около 68 % (т. е. приблизительно 2/3) результатов измерений попадают в пределы одного стандартного отклонения, около 95 % – в пределы двух стандартных отклонений и 99,7 % – в пределы трех стандартных отклонений.
Чтобы представить себе эту картину, взгляните на графики на странице 206. Квадратики соответствуют результатам угадывания 300 студентами исходов десятикратного подбрасывания монеты. По оси абсцисс отложено количество верных угадываний – от 0 до 10. По оси ординат – количество студентов, продемонстрировавших соответствующее количество верных угадываний. Кривая имеет колоколообразную форму с пиком на уровне 5 верных угадываний: столько раз верно угадали исход подбрасывания 75 студентов. Двух третей максимальной высоты (соответствующее количество студентов – 51) кривая достигает посередине между 3 и 4 верными угадываниями слева и между 6 и 7 верными угадываниями справа. Колоколообразная кривая с таким стандартным отклонением типична для стохастических процессов вроде угадывания исходов подбрасывания монеты.
Кружочками на том же графике отображен еще один набор данных – успешность работы 300 менеджеров паевых инвестиционных фондов. Для этого набора данных по оси абсцисс отложено не количество верных угадываний исходов подбрасывания монеты, а количество лет (из 10), когда показатели успешности работы менеджера были выше группового среднего. Обратите внимание на сходство! Мы еще вернемся к нему в главе 9.
Чтобы понять связь между нормальным распределением и случайной ошибкой, можно рассмотреть процесс проведения выборочного опроса. Вспомним опрос относительно популярности мэра Базеля, который я упоминал в главе 5. В этом городе часть жителей одобряет деятельность мэра, а часть осуждает. Для простоты примем, что тех и других по 50 %. Но, как мы видели, результаты опроса не обязательно будут полностью соответствовать этой пропорции 50/50. И в самом деле, если выборочно опросить N горожан, то вероятность, что любое произвольное их число поддержит мэра, пропорциональна числам в строке N треугольника Паскаля. А раз так, то, согласно работам де Муавра, если служба общественного мнения опросит большое число горожан, вероятность всех возможных результатов опроса можно будет описать с помощью кривой нормального распределения. Иными словами, около 95 % случаев одобрения попадет в пределы 2 стандартных отклонений от истинного рейтинга мэра, 50 %. Для описания этой погрешности службы общественного мнения используют понятие «допустимый предел погрешности». Сообщая средствам массовой информации, что предел погрешности опроса составляет +/– 5 %, они имеют в виду, что если повторить опрос много раз подряд, 19 из 20 раз (т. е. в 95 % случаев) результат его будет в пределах 5 % от истинного значения измеряемой переменной. (И хотя службы общественного мнения редко на это указывают, в 1 случае из 20 результат опроса будет мало соответствовать действительности.) На практике размеру выборки в 100 человек соответствует такой допустимый предел погрешности, который никуда не годится. А вот для выборки в 1000 человек предел погрешности обычно составляет около 3 %, что уже вполне пригодно для большинства целей.
Однако, проводя опрос любого рода, важно сознавать, что при любом повторении опроса результат хоть немного, но изменится. Например, если в действительности 40 % зарегистрированных избирателей дают положительную оценку деятельности президента, шесть независимых опросов скорее покажут что-то вроде 37 %, 39 %, 39 %, 40 %, 42 % и 42 %, нежели сойдутся на показателе в 40 %. (Эти шесть чисел – действительные результаты шести независимых опросов, призванных выявить количество граждан, которые положительно оценивали деятельность президента в первые две недели сентября 2006 года.) Вот почему на практике на изменчивость данных в рамках допустимого предела погрешности не следует обращать внимания. Но даже если «Нью-Йорк Таймс» никогда и не вынесет на первую страницу заголовок «Количество рабочих мест и уровень заработной платы к двум часам пополудни несколько выросли», в публикациях, посвященных политическим опросам, подобного рода заголовки – не редкость. Например, после Национального партийного съезда республиканцев в 2004 г. «Си-эн-эн» разродилась выпуском новостей, озаглавленным так: «Похоже, рейтинг Буша несколько вырос». Эксперты «Си-эн-эн» пояснили, что «В результате проведения съезда рейтинг Буша увеличился на 2 %… Если до съезда в его пользу склонялись 50 % потенциальных избирателей, то сразу после съезда – 52 %». Лишь позднее репортер оговорил, что предел погрешности для данного опроса составлял 3,5 %, а это означает, что экстренный выпуск новостей по сути не имел смысла. Похоже, слово «похоже» на самом деле означало «непохоже».
Как правило, при проведении опросов предел погрешности выше 5 % считается недопустимым, однако в повседневной жизни мы основываем свои суждения на значительно меньшем количестве наблюдений. Разве найдешь человека, который 100 лет играет в профессиональный баскетбол, вложил деньги в 100 многоквартирных жилых домов или основал 100 компаний, выпускающих шоколадное печенье? Так что, когда мы делаем выводы об успешности этих людей, мы берем за основу лишь незначительное число наблюдений. Следует ли футбольной команде раскошелиться на 50 млн долларов, чтобы заполучить игрока, чья игра была поистине чемпионской лишь в течение года? С какой вероятностью биржевой маклер, который в очередной раз просит у вас денег и говорит, что дело верное, вновь добьется успеха? Означает ли успех процветающего изобретателя такой игрушки, как морские обезьяны, что его новые изобретения – невидимые золотые рыбки и растворимые лягушки – скорее всего, станут пользоваться таким же спросом? (Кстати сказать, не стали.) Сталкиваясь с успехом или с неудачей, мы имеем дело лишь с одним наблюдением, с одной из множества точек колоколообразной кривой, отображающей все наблюдавшиеся ранее возможности. И мы не знаем, что представляет собой это наблюдение – среднее или явный выброс, событие, в котором можно быть абсолютно уверенным, или редкий случай, который едва ли повторится. Так или иначе, мы должны иметь в виду, что точечное наблюдение – это не более чем точечное наблюдение, и прежде чем принимать его как факт, следует рассмотреть его в контексте соответствующего ему стандартного отклонения или разброса значений. Даже если некоторое вино получило оценку в 91 балл, эта оценка не имеет смысла, пока мы не узнаем, каков был бы разброс, если бы то же самое вино подверглось повторному оцениванию или если бы его стали оценивать другие люди. В качестве примера полезно вспомнить, как несколько лет назад «Путеводитель по хорошим австралийским винам» издательства «Penguin» и «Ежегодник австралийских вин», выпускаемый «On Wine», написали о рислинге «Митчелтон Блэквуд Парк» урожая 1999 г., причем «Путеводитель…» присвоил вину пять звездочек из пяти и назвал лучшим вином года по версии «Penguin», а «Ежегодник…» оценил ниже всех прочих вин, о которых писал в тот год, и счел худшим вином данной марки за последнее десятилетие. Нормальное распределение не только помогает понять подобные разногласия, но и применяется в великом множестве областей науки и торговли: например, когда фармацевтическая компания решает, считать ли результаты клинических испытаний значимыми, производитель – отражает ли случайная выборка реальный процент деталей с браком, а закупщик – принять ли к действию результаты опроса.
Тот факт, что нормальное распределение описывает распределение ошибки измерения, открыл десятилетия спустя после выхода работы де Муавра человек, имя которого носит колоколообразная кривая, – немецкий математик Карл Фридрих Гаусс. Эта мысль – во всяком случае, в отношении астрономических измерений, – пришла Гауссу в голову, когда он работал над проблемой траекторий движения планет. Однако же «доказательство» Гаусса было, по его собственному позднейшему признанию, ошибочным, а далеко идущие последствия этого открытия тоже не пришли ему на ум. Поэтому он, дабы не привлекать излишнего внимания, сунул обнаруженный закон в один из последних параграфов своей книги «Теория движения небесных тел, обращающихся вокруг Солнца по коническим сечениям». Там бы она и сгинула, эта еще одна из многочисленных отвергнутых наукой идей о том, как должен выглядеть закон распределения ошибок.
Однако нормальное распределение вернул из небытия Лаплас, наткнувшийся на работу Гаусса в 1810 г., вскоре после того, как подал в Академию наук статью с доказательством так называемой центральной предельной теоремы, гласящей, что сумма большого количества независимых случайных величин имеет распределение, близкое к нормальному. Например, предположим, что вы выпекаете 100 буханок хлеба, каждый раз основываясь на рецепте, по которому должны получаться буханки весом в 1000 граммов. Но иногда вы случайно добавляете то чуть меньше, то чуть больше муки или молока, а иногда чуть меньше или чуть больше жидкости испаряется за время нахождения буханки в печи. В конечном счете в силу каждой из множества возможных причин вес буханки может вырасти или уменьшиться на несколько граммов, и в этом случае центральная предельная теорема утверждает, что итоговый вес буханок будет варьировать в соответствии с законом нормального распределения. Читая работу Гаусса, Лаплас сразу же понял, что может использовать его открытие в целях совершенствования собственной работы, а его собственная работа, в свою очередь, намного убедительнее, чем это удалось Гауссу, доказывает: нормальное распределение является отражением закона распределения ошибок. Лаплас немедленно опубликовал краткое продолжение статьи, посвященной центральной предельной теореме. В наши дни эта теорема и закон больших чисел – две наиболее важных наработки в рамках теории случайности.
Чтобы пояснить, каким образом центральная предельная теорема доказывает, что нормальное распределение адекватно отражает закон случайного распределения ошибки, вернемся к примеру Даниила Бернулли с лучником. Мне однажды довелось выступить в роли лучника во время вечера в приятном обществе с крепкими напитками и беседами не для детского уха: ко мне прибежал мой младший сын Николай, протянул мне лук и стрелу и начал упрашивать, чтобы я метким выстрелом сбил у него с головы яблоко. И хотя стрела была с мягким наконечником из губки, мне показалось разумным проанализировать свои возможные ошибки и оценить их вероятность. Естественно, больше всего меня беспокоили смещения по вертикали. Простая модель таких ошибок выглядит следующим образом: каждый случайный фактор (скажем, ошибка прицеливания, влияние воздушных потоков и т. п.) может с равной вероятностью сместить мой выстрел по вертикали либо вверх, либо вниз относительно мишени. Итоговая ошибка будет равна сумме всех этих ошибок. Если мне повезет, примерно половина из них сместит выстрел вверх, другая половина – вниз, и тогда я попаду точно в цель. А если мне (точнее, моему сыну) не повезет, то все ошибки подействуют в одном направлении, и в цель я не попаду, а попаду либо существенно ниже, либо существенно выше. Соответственно, мне хотелось знать, какова вероятность того, что ошибки нивелируют друг друга, или, напротив, их сумма достигнет максимального значения, или примет одно из промежуточных значений. Но это был в точности процесс Бернулли, как если бы я подбрасывал монеты и задавался при этом вопросом, с какой вероятностью у меня выпадет определенное число орлов. Ответ на этот вопрос дает треугольник Паскаля или, если попыток много, нормальное распределение. И ровно этому же посвящена центральная предельная теорема. (Кстати сказать, в итоге я не попал ни в яблоко, ни в сына, но зато сбил бокал превосходного каберне.)
К 1830-м гг. большинство ученых обрели уверенность в том, что любое измерение многосоставно, подвержено огромному числу источников отклонения, а следовательно, и закону распределения ошибок. Этот закон, наряду с центральной предельной теоремой, привел, таким образом, к новому, более глубокому пониманию получаемых данных и их отношения к физической реальности. В следующем веке эти за идеи ухватились ученые, занимающиеся исследованием человеческого общества. К своему удивлению, они обнаружили, что человеческое поведение и индивидуальные особенности нередко подчиняются тем же закономерностям, что и ошибка измерения. В связи с этим было решено расширить круг приложений закона распределения ошибок за пределы естествознания и применять его в новой науке о человеческих отношениях.
