Предположим, мы получили значения среднего арифметического, представленные в табл. 7.2. Оказывается, что уровень агрессии изменяется как функция от возраста и пола. Но как выяснить наверняка, является ли обнаруженное различие истинным или это просто случайные колебания? На этот вопрос призваны ответить статистические показатели, выводимые логическим путем.

Для объяснения смысла статистических показателей, выводимых логическим путем, нужно вспомнить некоторые разграничения (имеющие частичное совпадение), введенные в предыдущих главах. Одно из них — разграничение между истинными показателями и погрешностями измерения. Любой показатель состоит из двух компонентов; действительного результата испытуемого, полученного при измерении, и любого рода погрешности измерения, возникающей при попытке выявить этот истинный показатель. Второе разграничение — между первичной дисперсией и вторичной дисперсией, или дисперсией ошибки. Первичная дисперсия связана с изучаемыми независимыми переменными; вторичная дисперсия, или дисперсия ошибки, обусловлена действием всех других факторов, то есть может иметь какой угодно источник, за исключением независимых переменных. Последнее разграничение — между популяцией и выборкой. Популяция — это весь тот контингент людей, который интересует исследователя; а выборка — это группа людей, фактически включенных в исследование.

При сравнении двух выборок (двух возрастов, двух полов, экспериментальных условий и т. д.) нас интересует вопрос, есть ли истинное различие между популяциями, из которых отобраны эти группы. Если бы нам удалось собрать данные по всей популяции, а не только по выборке, и исключить возможность погрешности измерения, у нас был бы ответ: полученные результаты и были бы результатами интересующей нас популяции. Однако, разумеется, сделать этого мы не можем; выборки — это всегда лишь часть популяции, измерение всегда неточно, и всегда существуют посторонние источники дисперсии. Именно поэтому нам необходимы методы оценки, или определения на основе логических заключений вероятности того, что выявленные различия между выборками отражают истинные различия между популяциями.

Поясним сказанное выше на примере гипотетического исследования агрессии и вопроса различий между полами в уровне агрессии. Мы уже знаем, что различия между полами действительно есть, в том смысле, что показатели мальчиков и девочек неодинаковы. Однако мы знаем и то, что это различие может объясняться погрешностями измерения и побочными источниками дисперсии. Кроме того, мы наблюдали лишь небольшую выборку из популяции, которая нас интересует — только 60 детей из миллионов 3- и 4-леток, посещающих детские сады США, и только несколько часов из жизни этих детей. Возможно, понаблюдав за теми же детьми вновь, мы получили бы несколько отличные результаты. Возможно, что, понаблюдав вторую выборку из 60 детей, мы опять-таки получили бы иные результаты. И возможно, что если бы нам удалось понаблюдать всю интересующую нас популяцию, мы получили бы еще какую-то совокупность данных. Именно для определения вероятности всех этих «возможно» необходимы статистические показатели, выводимые логическим путем.

В предыдущем абзаце цели использования статистических показателей, выводимых логическим путем, рассматриваются с двух позиций. Во-первых, с точки зрения воспроизводимости результатов или надежности. Получим ли мы одинаковые результаты, вновь и вновь производя один и тот же эксперимент? Во-вторых (что в действительности то же самое), с точки зрения перехода от выборки к популяции. Достаточно ли велико отличие, обнаруженное в выборке, чтобы доказать существование отличия в популяции? Как бы мы ни формулировали вопрос, нужно выбрать одно из двух: либо наши результаты действительно отражают положение вещей в популяции, либо они обусловлены действием случайных факторов, действующих в нашем конкретном исследовании. И как бы мы ни формулировали вопрос, использование статистических показателей, выводимых логическим путем, не дает однозначного ответа о том, что из сказанного верно; все, о чем мы можем судить по этим статистическим показателям — это о вероятности каждой из альтернатив. Это, фактически, главное, что нужно осознать в отношении статистических выводов: они вероятностны, а не абсолютны.

Теперь обратимся к конкретному примеру статистического анализа. Рассмотрим вновь различия между полами в уровне агрессии. Нам нужно определить, отражает ли обнаруженное в исследовании различие истинное различие в популяции или же оно — результат случайности. Как уже отмечалось, в качестве примера, за основу мы возьмем логику статистического анализа при использовании f-критерия.

Формула расчета f-критерия представлена ниже. Логика, положенная в основу этой аналитической проверки, довольно проста. Величина f-критерия, а следовательно, и вероятность того, что результаты неслучайны, зависит от трех факторов. Первый — разница между значениями средних. Чем больше различие, тем больше t. Второй — изменчивость внутри сравниваемых групп. Именно изменчивость представлена в довольно громоздком делителе. Чем она меньше, тем больше С. Наконец, третий фактор — объем выборки. Объем выборки влияет на конечный результат по двум направлениям. Во-первых, как можно заметить, проанализировав формулу, объем выборки влияет на изменчивость: чем больше п, тем меньше делитель. Во-вторых, даже подсчитав С, мы все еще должны определить,

какова вероятность того, что это значение t - результат случайности. Эта вероятность зависит как от величины С, так и от объема выборки. Чем больше п, тем ниже вероятность того, что полученное значение t — всего лишь результат случайных колебаний.

Применим теперь формулу t для оценки различий между мальчиками и девочками в нашем гипотетическом исследовании. Получаем t, равное 2,41. Обратившись теперь к таблице показателей Г-критерия (которая есть в любом учебнике по статистике), мы устанавливаем, что такое или большее значение С могло быть результатом случайности менее чем в 5 случаях из 100. Этот расчет вероятности случайности основан на том, что называется нуль-гипотезой — то есть предположении, что между группами в действительности нет различий. Результаты, вероятность случайного появления которых составляет менее 5 %, условно считаются статистически значимыми. Поэтому мы можем отвергнуть нуль-гипотезу об отсутствии различий между полами и заключить, что мальчики действительно агрессивнее девочек.

Мы еще вернемся к понятию статистической значимости. Однако сначала стоит повторить логику анализа с использованием t-критерия, поскольку она применима в отношении ряда других статистических критериев. Как отмечалось, эта логика действительно довольно очевидна и сводится к трем правилам, основанным на простом здравом смысле:

1. Случайность больших различий между группами менее вероятна, чем случайность небольших различий. Поэтому разница между большинством других значений среднего арифметического из табл. 7.2 (например, между 3-летними девочками и 3-летними мальчиками) слишком мала, чтобы дать существенный t-показатель, и поэтому, скорее всего, объясняется случайностью.

2. Чем меньше внутригрупповая изменчивость, тем меньше вероятность того, что различия являются результатом случайности. Небольшое число существенных отклонений от группового среднего в ту или иную сторону практически не отражается на значении среднего арифметического. Этот фактор играет роль при сравнении результатов 3- и 4-летних мальчиков. Несмотря на существенную разницу между средними показателями, сравнение с использование f-критерия

говорит об отсутствии значимых различий, в немалой степени из-за высокой изменчивости в группе 4-летних мальчиков.

3. Наконец, вероятность случайности различий, обнаруженных в больших выборках, меньше, чем вероятность случайности таких же различий в небольших выборках. Если количество испытуемых невелико, один или два крайне высоких или крайне низких показателя могут исказить среднее арифметическое; в больших выборках такие случайные колебания компенсируются. Этот фактор играет роль при сравнении результатов 3-летних и 4-летних мальчиков. Если бы объем выборки составлял 30, а не 15 человек на группу, то полученный показатель t был бы значим.

Из сказанного выше следует, что цель использования статистических процедур, основанных на логических построениях, — установление статистической значимости. Важно ясно представлять, что подразумевается, а также, что не подразумевается под выражением «статистическая значимость».

Вспомним для начала, что выводы, основанные на логических статистических показателях, носят вероятностный характер. Утверждение, что определенное различие средних статистически значимо, означает, что такое различие вероятнее всего не случайно, если исходить из нуль-гипотезы об отсутствии различий в популяции. Однако всегда есть вероятность ошибки. Первая состоит в ошибочном отвержении нуль-гипотезы, то есть в выводе о наличии некоего эффекта при его реальном отсутствии. Этот тип ошибки называют ошибкой первого рода. В нашем исследовании агрессии мы допустили бы ошибку первого рода, заключив, что мальчики и девочки различаются по уровню агрессии, в то время как в действительности на уровне популяции в целом такое различие отсутствует. Вероятность ошибки первого рода определяется уровнем вероятности, на котором мы отвергаем нуль-гипотезу. Если уровень вероятности 0,05, риск допустить ошибку первого рода составляет 5 из 100. Если уровень вероятпости ниже, скажем, 0,01 или 0,001, тогда, естественно, у нас гораздо меньше шансов ошибиться. -

Второй тип ошибки состоит в принятии нуль-гипотезы тогда, когда в действительности имеется истинный эффект. Этот тип ошибки называется ошибкой второго рода. В исследовании агрессии мы допустили бы ошибку второго рода, если бы группы 3-летних и 4-летних детей различались, но мы заключили бы, что между ними нет различий. Вероятность ошибки второго рода рассчитать труднее, чем вероятность ошибки первого рода, и здесь мы даже не будем пытаться объяснить этот расчет. Однако замечу, что вероятность одной ошибки находится в обратной зависимости от вероятности второй ошибки, то есть чем выше вероятность одной, тем ниже вероятность другой. Исследователь, к примеру, может снизить риск ошибки первого рода, установив уровень вероятности 0,01, однако в то же время он существенно повышает риск ошибки второго рода. Отметим также, что психологи предпочитают минимизировать вероятность ошибки первого рода. Эта осторожность в позитивных выводах отражена в общепринятой норме: «значимыми» признаются только результаты, вероятность случайности которых составляет менее 5 %'.

Розноу и Розенталь (Rosnow & Roscntal, 1989) критикуют позицию исследователей, целиком полагающихся на уровень вероятности 0,05: «Несомненно, Господь любит 0,06 ничуть не меньше, чем 0,05» (р. 1277).

Рассмотрение ошибок первого и второго рода возвращает нас к понятию валидности. В главе 2 рассказывалось о трех из четырех основных форм валидности. Четвертая форма — валидность статистического вывода: точность статистического вывода, сделанного при анализе данных. Верны ли наши заключения о наличии или отсутствии связи между переменными? Избежав ошибочного вывода о существовании связи при ее отсутствии (ошибка первого рода) и об отсутствии связи при ее наличии (ошибка второго рода), мы достигаем валидности статистического

вывода.

Установив статистическую значимость, мы можем сказать, что наши результаты, вероятнее всего, не случайны. Важно отдавать себе отчет, что критерий значимости имеет отношение только к возможности случайных результатов. Значимость не исключает возможности искажения валидности. По этому критерию можно судить о наличии различий между двумя группами, но не о причинах различий.

Рассмотрим различие между полами в нашем исследовании агрессии. Нас интересует вероятность того, чТо это различие в поведении истинно (однако, разумеется,, причин?.! его еще предстоит выявить). Но значимое различие вполне могло появиться и по другим причинам. Возможно, наши наблюдатели ожидали от мальчиков или от девочек большей агрессивности и поэтому в соответствующем направлении искажали результаты — отсюда различие, обусловленное необъективностью наблюдателей. Возможно, на девочках сильнее отражается присутствие наблюдателя, и поэтому они более склонны подавлять агрессию, когда за ними наблюдают, — отсюда различие, обусловленное дифференцированной реактивностью. Возможно, мы наблюдали девочек в начале года, а мальчиков позже, когда агрессия становится обычным явлением, — отсюда различие, обусловленное одновременным влиянием фактора принадлежности к определенной группе и фактора

времени измерения.

Суть в том, что любые из описанных в этой книге факторов, ставящих под сомнение валидность, могут все еще действовать, искажая наши результаты. Статистическая значимость не гарантирует общей валидности. Это лишь отправная точка, необходимое, но не достаточное условие для вывода о том, что мы обнаружили что-то существенное.

И последнее замечание — статистическая значимость не гарантирует того, что результаты имеют некоторую научную ценность. «Значимость» в том смысле, в котором этот термин употребляется здесь, имеет отношение только к статистической вероятности, а не к теоретической или практической важности. Различие между полами в уровне агрессии может быть истинным, в том смысле, что оно не случайно и не обусловлено неудовлетворительной валидностью. Достаточно ли велико это различие, чтобы что-то значить — в отношении, например, того, как воспитатели должны вести себя с мальчиками и девочками, — отдельный вопрос. Важно помнить, что статистическая значимость различия зависит не только от величины разницы, но и от объема выборки. В достаточно большой выборке даже незначительное различие достигает уровня значимости. Мы еще вернемся к этому вопросу, когда будем рассматривать величину эффекта.