Несмотря на сотни миллионов долларов, идущих на инновационные образовательные программы, и многие сотни исследований, направленных на оценку этих программ, ситуация с исследованиями образования остается совершенно постыдной. Эти исследования носят преимущественно описательный характер, а большинство тех, кто считает себя экспертами, в действительности выступают против экспериментального метода, подразумевающего использование одной и той же образовательной методики применительно к выбранным наугад детям. Крайне мало исследований в этом направлении могут считаться научно корректными.

Эта ситуация так же возмутительна, как если бы фармацевтические компании продавали свои препараты, не проводя никаких предварительных испытаний, кроме назначения лекарства отдельным больным и подсчета процента выздоровевших (не учитывая процент тех, кто выздоравливает без лекарств). В фармацевтике правильно проведенными клиническими испытаниями считаются только такие, в которых определяется группа пациентов, и некоторым из них, отобранным случайным образом, назначается лечение, в то время как остальные его не получают вообще или получают альтернативное лечение. Однако в образовательных исследованиях такой стандарт практически никогда не выдерживается. Любого, кто скажет вам, что исследования без применения случайной выборки в области образования ничем не хуже прочих, стоит спросить, почему такие исследования должны проводиться по иным стандартам, чем испытания фармакологических препаратов.

Противники экспериментального метода приводят множество аргументов в свое оправдание. Они утверждают, что по этическим соображениям возможность участия должны получать наиболее нуждающиеся. Однако по этическим соображениям исследователи должны гарантировать, что их деятельность действительно приносит пользу, а для этого необходимо выявить наиболее нуждающихся, и половину из них определить в опытную группу, а вторую половину — в контрольную. Самый лицемерный из приводимых аргументов состоит в том, что эксперименты якобы каким-то образом мешают понять, какие именно элементы метода определяют его эффективность. Без знания того, что метод эффективен, невозможно определить, почему он эффективен.

В последних исследованиях в школах начали применяться хотя бы какие-то формы контроля. В некоторых из них ученые договаривались со школами о вмешательстве в учебный процесс, например, об использовании нового типа компьютерного обучения на уроках математики, а затем сравнивали успеваемость учеников этих школ с другими школами, где вмешательства не было, сходными по установленному набору критериев, таких как социальное положение и расовая принадлежность учащихся. Это уже лучше, чем ничего, однако все же недостаточно. В таких экспериментах есть вероятность самоотбора: школы, которым предлагается вмешательство, могут отличаться в каких-то пока неизвестных отношениях от тех школ, которым его не предлагают. Эта проблема становится особенно острой в том случае, если происходит явный самоотбор, то есть если лишь часть из школ, которым был предложен эксперимент, согласились на него. Такие школы могут быть лучше по ряду важных показателей, чем те, что отказались.

Также некорректны исследования, в которых учитываются просто оценки успеваемости школьников до и после начала эксперимента. В таких случаях, как правило, результат вмешательства оценивается как гораздо более высокий, чем при проведении сравнения школ, где проводился эксперимент, с подобными школами, где его не было. Исключение из этого правила бывает, когда влияние вмешательства оказывается очень большим и не вписывается в картину, ожидаемую при его отсутствии. В таких условиях заявления об эффективности иногда могут быть убедительными.