Как мы только что увидели, стандартизация не может быть абсолютной. Полная стандартизация, без преувеличения, невозможна. По мере исследования испытуемых что-то всегда изменяется. Несмотря на все старания исследователя стандартизировать процедуру, поведение испытуемого может вынудить к отступлению от установленной схемы. Изучая разные возрастные группы, исследователь намеренно изменяет определенные параметры процедуры. Исследователь, разрабатывающий новую проблематику, намеренно отказывается от стандартизации ради возможности свободного экспериментирования и совершения открытии.

Но предположим, что мы имеем дело с ситуацией, не соответствующей ни одному из вышеперечисленных исключительных случаев. Допустим, мы работаем с испытуемыми одного возраста, имея четкий план действий, контролируя ситуацию, не изучая нечто новое, а пытаясь с максимальной точностью определить, каким образом связаны некие переменные. Есть ли основания в этом случае строго придерживаться стандарта? Или существует, даже здесь, такое понятие, как излишняя стандартизация?

Кэмпбелл и Стэнли (Campbell & Stanley, 1966) полагают, что сверхстандартизация действительно бывает. Приведенный ими пример касается исследования способности к убеждению, в котором сравнивается эффективность обращения к рассудку и эмоциям. Чтобы произвести стандартизацию, исследователь решает записать на магнитофон по одной версии обращения обоих типов; таким образом, всем испытуемым в определенной экспериментальной ситуации предъявляется один и тот же стимул. Такой контроль кажется желательным, поскольку мы должны были бы знать наверняка, что представляют из себя определенные экспериментальные условия. Однако в действительности решение сохранять ситуацию неизменной означает отказ от возможности выяснить, какие именно аспекты экспериментальных условий объясняют обнаруженный эффект. Возможно, имеет значение тот фактор, который мы намеревались изучить: обращение к эмоциям или к рассудку. Но возможно, что имеет значение пол говорящего, или некоторые особенности его голоса, тон или темп его речи. Возможно также, имеет значение определенное сочетание вышеперечисленных качеств — к примеру, апеллирование к эмоциям колоритным мужским голосом. Суть в том, что любой фактор, одинаковый для всех испытуемых, потенциально становится частью независимой переменной. Предпочтительнее в такой ситуации допустить разнообразие этих дополнительных факторов (пола, особенностей голоса и т. д.), в то же время оставляя неизменным фактор, который нас действительно интересует: характер обращения. Тогда любой обнаруженный эффект можно с большей уверенностью объяснить характером обращения.

Понятно, что сверхстандартизация может быть причиной искажения внешней валидности. В описанном выше исследовании цель — получить в той или иной мере обобщенные выводы относительно эффективности апелляции к рассудку или эмоциям. Для нас нежелательно, чтобы результаты зависели от индивидуальных качеств говорящего или от способа подачи текста, так как полученные в этом случае выводы нельзя считать справедливыми для конкретного исследования.

Трудности, создаваемые сверхстандартизацией, доказывают значение, которое в научном исследовании имеет воспроизведение. При воспроизведении, по определению, сохраняются неизменными те характеристики, на изучение эффекта которых направлено само исследование; к примеру, обращение к эмоциям или к рассудку в гипотетическом исследовании эффективности убеждения. В то же время другие характеристики практически неизбежно изменяются, особенно если исследование воспроизводит другой исследователь, в другой лаборатории. Поэтому человек, выступающий в роли убеждающего, скорее всего будет другим, как и экспериментатор, взаимодействующий с испытуемыми, а также помещение, в котором проводится эксперимент, время года и т. д. Обнаружив те же эффекты эмоционального и рационального убеждения, несмотря на все изменения, мы сможем более уверенно говорить о том, что тот или иной результат действительно обусловлен характером обращения. И наоборот, если бы нам не удалось воспроизвести изначально полученные результаты, это означало бы, что параметры процедуры, считавшиеся несущественными, в действительности не так уж несущественны.

Когда сверхстандартизация становится проблемой в исследовании психологии развития? Пожалуй, чаще всего в случаях, аналогичных тем, которые описали Кзмпбелл и Стэнли: когда все данные собирает один экспериментатор. В обзоре журналов по психологии развития (табл. 1.3) учитывалось в том числе и количество экспериментаторов, принимавших участие в исследованиях, в которых могли иметь значение характеристики экспериментатора. В 30 % отчетов из тех, в которых имелась подобная информация, указывалось на наличие одного экспериментатора; только в 22 % случаев количество экспериментаторов достигало четырех. Обратите внимание, что по меньшей мере 69 % статей при данном подсчете не учитывалось, поскольку в них не содержалась информация о количестве экспериментаторов; в действительности в 52 % отчетов вообще отсутствовала какая-либо информация об экспериментаторах.

Неудивительно, что исследования, проводимые одним экспериментатором столь распространены. Использование одного экспериментатора требует меньше расходов, меньше времени на подготовку и не связано с проблемой составления графика проведения исследования и подбора экспериментаторов. Каким бы заманчивым ни казался этот выбор, всегда помните о том, что если экспериментатор работает в одиночку, то становится константным элементом экспериментальной процедуры, элементом, который может влиять на результаты исследования. Совпадение результатов, полученных разными экспериментаторами, служит залогом внешней валидности исследования.