11. Измерение разброса данных

В этой главе вы изучите три различных метода — среднее абсолютное отклонение, дисперсию и стандартное отклонение — для количественной оценки разброса или различных экстремумов наблюдений.

В предыдущей главе вы узнали, что среднее значение — лучший способ угадать значение неизвестного измерения и что чем больше разброс наблюдений, тем более неопределенными будут оценки среднего значения. Например, если мы пытаемся выяснить место столкновения двух машин, основываясь только на распространении оставшегося мусора после буксировки, то чем больше будет мусора, тем меньше мы будем уверены, что это именно то самое место, где они столкнулись.

Поскольку разброс наблюдений связан с неопределенностью в измерении, нужно иметь возможность количественно оценить его, чтобы делать вероятностные заявления об оценках (как это сделать, будет описано в следующей главе).

Бросаем монетку в колодец

Представьте, что вы с другом гуляете по лесу и натыкаетесь на странно выглядящий старый колодец. Вы заглядываете внутрь и вам кажется, что там нет дна. Чтобы проверить это, вы берете монетку и бросаете ее в колодец. Через несколько секунд доносится всплеск. Вы делаете вывод, что колодец глубокий, но не бездонный.

Несказанно удивившись, вы с другом загораетесь любопытством — насколько глубок колодец на самом деле? Чтобы собрать больше данных, вы берете еще пять монет и бросаете их, получая следующие измерения в секундах:

3,02; 2,95; 2,98; 3,08; 2,97.

Как и ожидалось, в результатах обнаруживаются некоторые различия; это в первую очередь связано с необходимостью убедиться, что вы бросили монету с той же высоты, а затем правильно записали время, когда послышался всплеск.

Затем ваш друг хочет попробовать свои силы в получении некоторых измерений. Вместо того чтобы набрать пять монет одинакового размера, он берет разные предметы — от мелкой гальки до прутьев. Бросив их в колодец, друг получает следующие измерения:

3,31; 2,16; 3,02; 3,71; 2,80.

Оба этих примера имеют среднее значение (μ) около 3 секунд, но ваши измерения и измерения друга разбросаны в разной степени. Наша цель в этой главе — найти способ количественно оценить разницу между разбросом ваших измерений и разбросом измерений вашего друга. Мы будем использовать этот результат в следующей главе, чтобы вычислить вероятность определенных диапазонов значений для нашей оценки.

В оставшейся части этой главы мы рассмотрим, когда речь идет о первой группе значений (ваши наблюдения) с переменной a и о второй группе (наблюдения вашего друга) с переменной b. Для каждой группы наблюдения обозначаются индексами; например, a2 — второе наблюдение из группы a.

Находим среднее абсолютное отклонение

Начнем с измерения разброса каждого наблюдения по среднему значению (μ). Среднее значение и для a, и для b равно 3. Поскольку μ является наилучшей оценкой истинного значения, имеет смысл начать количественную оценку разницы в двух разбросах путем измерения отклонения каждого из значений от среднего. Таблица 11.1 отображает каждое наблюдение и его отклонение от среднего значения.

Таблица 11.1. Наблюдения ваши и вашего друга и их отклонения от среднего значения

Наблюдение	Отклонение от среднего значения
Группа a
3,02	0,02
2,95	–0,05
2,98	-0,02
3,08	0,08
2,97	–0,03
Группа b
3,31	0,31
2,16	–0,84
3,02	0,02
3,71	0,71
2,80	-0,16

Примечание

Отклонение от среднего значения отличается от значения ошибки, которое является отклонением от истинного значения и в этом случае неизвестно.

Как количественно определить разницу между двумя бросками? Во-первых, попробовать суммировать их отличия от среднего значения. Но при попытке это сделать мы обнаружим, что сумма отличий для обоих наборов наблюдений абсолютно одинакова, что странно, учитывая заметную разницу в разбросе двух наборов данных:

.

Причина, по которой мы не можем просто суммировать отличия от среднего значения, связана в первую очередь с тем, как работает среднее значение: как мы знаем из главы 10, ошибки имеют тенденцию взаимно исключать друг друга. Требуется математический метод, который гарантирует, что различия не устраняются, не влияя на достоверность измерений.

Различия сводятся на нет потому, что некоторые из них являются отрицательными, а некоторые — положительными. Таким образом, если мы конвертируем все различия в положительные значения, то сможем устранить эту проблему, не аннулируя значения.

Самый очевидный способ сделать это — взять абсолютную величину различий; это отклонение числа от 0, поэтому абсолютное значение 4 равно 4, а абсолютное значение –4 также равно 4. Это дает положительную версию отрицательных чисел без их фактического изменения. Чтобы представить абсолютное значение, мы заключаем значение в вертикальные линии, как в | –6 | = | 6 | = 6.

Если взять абсолютные значения различий из табл. 11.1 и вместо этого использовать их в расчетах, мы получим результат, с которым можно работать:

.

Попробуйте сделать это вручную, и получите те же результаты. Это более разумный подход для нашей конкретной ситуации, но он применяется только тогда, когда две группы выборок имеют одинаковый размер.

Представьте, что у нас было еще 40 наблюдений для группы a — скажем, 20 наблюдений из 2,9 и 20 из 3,1. Даже с этими дополнительными наблюдениями данные в группе а кажутся менее разбросанными, чем данные в группе b, но абсолютная сумма группы a теперь составляет 85,19 просто потому, что у нее больше наблюдений!

Чтобы это исправить, можно нормализовать значения путем деления на общее количество наблюдений. Вместо того чтобы делить, мы просто умно­жим на 1 общую сумму. Это называется умножением обратной величины и выглядит следующим образом:

.

Теперь у нас есть измерение разброса, которое не зависит от размера выборки! Обобщение этого подхода обозначается следующим образом:

.

Мы вычислили среднее абсолютных отличий между нашими наблюдениями и средним значением. Это означает, что для группы a среднее наблюдение отклоняется на 0,04 секунды от среднего значения, а для группы b — на около 0,416 секунды. Мы называем результат этой формулы средним абсолютным отклонением (mean absolute deviation, MAD). MAD — очень полезная и интуитивно понятная мера разброса наблюдений. Учитывая, что группа a имеет MAD 0,04, а группа b — около 0,4, теперь можно сказать, что группа b примерно в 10 раз больше, чем группа a.

Поиск величины расхождения

Другой способ математически сделать все наши различия положительными без аннулирования данных состоит в возведении их в квадрат: (xi – μ)2. Этот метод имеет как минимум два преимущества по сравнению с использованием MAD.

Первое преимущество несколько академическое: со значениями, возведенными в квадрат, гораздо проще работать математически, чем брать их абсолютное значение. В книге мы не будем это использовать, но математиков функция абсолютного значения может раздражать.

Вторая и более практическая причина — возведение в квадрат приводит к экспоненциальному штрафу (exponential penalty), а это означает, что измерения, очень далекие от среднего, штрафуются гораздо больше. Другими словами, маленькие различия не так важны, как большие, как кажется интуитивно. Например, если кто-то запланировал встречу с вами не в том кабинете, вы не расстроитесь, если окажетесь по соседству с нужным кабинетом, но почти наверняка расстроитесь, если вас отправят в офис в другой части страны.

Если подставить абсолютную величину для возведенных в квадрат отличий, мы получим следующее:

.

Эта формула, которая занимает особое место в изучении вероятности, называется расхождением. Обратите внимание, что уравнение для расхождения точно такое же, как MAD, за исключением того, что функция абсолютного значения в MAD была заменена на возведение в квадрат. Поскольку квадрат обладает более хорошими математическими свойствами, расхождение используется гораздо чаще при изучении вероятности, чем MAD. Мы можем видеть, как различаются результаты при вычислении их расхождения:

Var(группа a) = 0,002, Var(группа b) = 0,269.

Поскольку мы возводим в квадрат, интуитивного понимания результатов расхождения больше нет. MAD дает интуитивное определение: это среднее отклонение от среднего значения. Расхождение, с другой стороны, говорит: это средняя квадратическая разница. Напомним, что при использовании MAD группа b была примерно в 10 раз больше группы a, но в случае с расхождением группа b теперь в 100 раз больше!

Нахождение стандартного отклонения

Хотя в теории расхождение имеет множество свойств, которые делают его полезным, на практике бывает сложно интерпретировать результаты. Людям не всегда понятно, что означает разница в 0,002 секунды в квадрате. Как уже упоминалось, отличительной чертой MAD является то, что результат интуитивен. Если MAD группы b составляет 0,4, это означает, что среднее расстояние между данным наблюдением и средним значением составляет буквально 0,4 секунды. Но усреднение по квадратным различиям не позволяет так же хорошо анализировать результат.

Чтобы исправить это, можно взять квадратный корень из расхождения, чтобы уменьшить его до числа, которое немного лучше подходит для интуиции. Корень квадратный из расхождения называется стандартным отклонением и представлен строчной греческой буквой сигма (σ). Он определяется следующим образом:

.

Формула стандартного отклонения не такая страшная, как может показаться на первый взгляд. Цель состоит в том, чтобы численно представить, как распределены данные. Поэтому:

1. Нужно получить разницу между нашими данными и средним значением, xi – μ.

2. Нужно преобразовать отрицательные числа в положительные, поэтому мы берем квадрат, (xi – µ)2.

3. Нужно сложить все различия:

.

4. Нам не нужно, чтобы сумма зависела от количества наблюдений, поэтому мы нормализуем ее с помощью 1/n.

5. Наконец, берем квадратный корень из всего, чтобы числа были ближе к тому же результату, что и в случае с более интуитивным абсолютным отклонением.

Если посмотреть на стандартное отклонение для двух групп, то можно заметить, что оно очень похоже на MAD:

σ (группа a) = 0,046, σ (группа b) = 0,519.

Стандартное отклонение является золотой серединой между интуитивностью MAD и математической легкостью расхождения. Обратите внимание, что, как и в случае с MAD, разница в разбросе между b и a составляет 10. Стандартное отклонение настолько полезно и повсеместно используемо, что в литературе по вероятности и статистике расхождение определяется просто как σ2, или сигма в квадрате!

Итак, теперь у нас есть три разных способа измерить разброс данных. Результаты отражены в табл. 11.2.

Таблица 11.2. Измерение разброса по методу

Метод измерения разброса	Группа a	Группа b
Средние абсолютные отклонения	0,040	0,416
Расхождение	0,002	0,269
Стандартное отклонение	0,046	0,519

Ни один из этих методов измерения разброса не является более правильным, чем другой. Безусловно, наиболее часто используемый метод — стандартное отклонение, потому что можно использовать его вместе со средним для определения нормального распределения, которое, в свою очередь, позволяет определять явные вероятности для возможных истинных значений измерений. В следующей главе мы рассмотрим нормальное распределение и посмотрим, как оно может помочь понять уровень нашей уверенности в измерениях.

Заключение

В этой главе вы изучили три метода количественной оценки распространения группы наблюдений. Наиболее интуитивным измерением разброса значений является среднее абсолютное отклонение (MAD), которое представляет собой среднее отклонение каждого наблюдения от среднего значения. Интуитивно понятный MAD не так полезен математически, как другие варианты.

Математически предпочтительным методом является расхождение — квадрат отклонений наших наблюдений. Но при вычислении расхождения мы теряем интуитивное понимание того, что означает расчет.

Третий вариант — стандартное отклонение, которое является квадратным корнем из расхождения. Стандартное отклонение математически полезно, а также дает результаты, которые являются интуитивными.

Упражнения

Чтобы убедиться, что вы понимаете различные методы измерения разброса данных, попробуйте ответить на эти вопросы.

1. Одним из преимуществ расхождения является то, что возведение в квадрат различий делает штрафы экспоненциальными. Приведите несколько примеров, когда это будет полезно.

2. Рассчитайте среднее значение, расхождение и стандартное отклонение для следующих значений: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10.