Безусловно, нам нужны хорошие школы, так же как нам нужны и хорошие преподаватели, без которых такие школы невозможны. Следовательно, нам нужно вознаграждать хороших преподавателей и хорошие школы, а также увольнять плохих преподавателей и закрывать плохие школы.

Но как выявить хороших преподавателей и хорошие школы?

Результаты сдачи экзаменов могут служить объективным показателем успеваемости учащихся. Тем не менее мы знаем, что некоторые ученики сдают стандартизованные тесты лучше своих сверстников по причинам, не имеющим ничего общего с тем, что происходит в стенах конкретного класса или школы. Казалось бы, самым простым решением здесь стало бы оценивание школ и преподавателей на основе прогресса, которого добиваются учащиеся за определенный период времени. Как изменились их знания с момента начала их занятий в определенном классе у конкретного преподавателя? Какими они были год назад? Разница между этими объемами знаний представляет собой «добавленную стоимость» соответствующего класса.

Чтобы получить более точное представление об этой «добавленной стоимости», мы можем воспользоваться статистическими инструментами, приняв во внимание демографические характеристики учащихся в конкретном классе, такие как расовая принадлежность, уровень дохода в семье и успеваемость по другим тестам (что может быть показателем сообразительности). Если преподаватель добился значительных успехов в работе с учащимися, которые не блистали знаниями в прошлом, то его следует считать весьма эффективным.

Вот так-то! Теперь мы можем оценить качество учителя со статистической точностью. А хорошие школы – это, безусловно, школы, где работают такие учителя.

Как эти удобные статистические оценки функционируют на практике? В 2012 году городские власти Нью-Йорка проявили инициативу и опубликовали рейтинги всех 18 000 преподавателей государственных школ на основе «оценки добавленной стоимости», измеренной по результатам сдачи экзаменов учениками с учетом их различных характеристик. Газета Los Angeles Times опубликовала аналогичную совокупность рейтингов преподавателей Лос-Анджелеса в 2010 году.

И в Нью-Йорке, и в Лос-Анджелесе реакция на эти публикации была бурной и противоречивой. Арни Дункан, министр образования США, в целом поддержал такого рода оценки на основе «добавленной стоимости», заявив, что они хороши хотя бы тем, что позволяют получить какую-то информацию в областях, где раньше ее вообще не было. После публикации данных по Лос-Анджелесу Арни Дункан сказал газете The New York Times: «Молчание – это вообще не вариант». Администрация Обамы предоставила штатам финансовые средства для разработки показателей добавленной стоимости, на основе которых можно было бы оплачивать труд преподавателей и продвигать их по службе. Сторонники данных способов оценивания подчеркивают, что это огромный шаг вперед по сравнению с системами, в которых труд всех преподавателей оплачивается в соответствии с единой шкалой окладов, не учитывающей такие «мелочи», как профессионализм.

С другой стороны, многие эксперты предупреждают, что подобные системы оценивания характеризуются большими допустимыми пределами погрешности и могут давать ошибочные результаты. Профсоюз преподавателей Нью-Йорка потратил более 100 000 долларов на рекламную кампанию в газетах, проводившуюся под лозунгом «Так оценивать работу преподавателей нельзя». Оппоненты утверждают, что «оценивание добавленной стоимости» создает ложное впечатление высокой точности, причем такие оценки могут вольно трактоваться родителями и государственными чиновниками, не понимающими ограничений подобного оценивания.

Похоже, это тот самый случай, когда правы – в определенной степени – и те и другие. Даг Стайгер, экономист Дартмутского колледжа, широко использующий в работе данные «добавленной стоимости» преподавателей, предостерегает, что в этих данных, в силу самой их природы, многовато «шума». Результаты по конкретному учителю зачастую основываются на результатах одного экзамена. При этом действие множества разнообразных факторов – от особенно «трудной» группы учащихся до сломавшегося в день сдачи экзамена кондиционера в классе – может вести к флуктуациям. Корреляция в эффективности отдельно взятого преподавателя, которая использует эти индикаторы, от года к году составляет лишь 0,35. (Интересно, что корреляция в эффективности игроков Высшей бейсбольной лиги от года к году также составляет примерно 0,35; для хиттеров она измеряется средним уровнем достижений, а для питчеров – средним числом зачетных перебежек.)

По мнению Стайгера, данные об эффективности учителей полезны, но это лишь один из инструментов, применяемых в процессе оценивания их профессионализма. Эти данные оказываются «менее шумными», когда исследователи располагают информацией по конкретному преподавателю за много лет, особенно если он работал с разными группами учащихся (точно так же, как мы можем сделать более достоверные выводы о достижениях спортсмена, имея данные о большем числе игр и сезонов, в которых он участвовал). В случае рейтингов преподавателей Нью-Йорка руководство системы образования предупреждало о необходимости правильного использования данных «добавленной стоимости» и о присущей им ограниченности. Однако широкой общественности не было известно об этих предупреждениях. В результате предложенные оценки учителей зачастую рассматриваются как определитель «хороших» и «плохих» преподавателей, заслуживающий полного доверия. Нам вообще нравятся рейтинги – вспомните хотя бы рейтинги колледжей, опубликованные в U.S. News & World Report, – даже когда соответствующие данные не поддерживают такую точность.

Стайгер делает предупреждение несколько иного рода: нам следовало заранее удостовериться в том, что оцениваемые нами исходы (например результаты стандартизированного теста) действительно соответствуют тому, что нас интересует в долгосрочной перспективе. Некоторые уникальные данные, которые приводит Академия ВВС США, свидетельствуют о том, что блестящие результаты экзаменов в будущем могут такими не казаться. Академия ВВС США, подобно другим военным учебным заведениям, произвольно распределяет своих кадетов по разным секциям стандартизированных базовых курсов, таких как введение в математический анализ. Подобная рандомизация устраняет любое влияние потенциального отбора при сравнении эффективности преподавателей; спустя какое-то время мы можем исходить из того, что все преподаватели получают студентов с примерно одинаковыми способностями (в отличие от большинства университетов, где студенты с разными способностями могут выбирать для себя те или иные курсы). Кроме того, Академия ВВС США использует в каждой части конкретного курса одинаковые учебные программы и экзамены. Скотт Каррелл и Джеймс Уэст, профессора Калифорнийского университета в Дэвисе и Академии ВВС США, воспользовались этой элегантной системой организации процесса подготовки студентов, чтобы ответить на один из самых важных вопросов в высшем образовании: какие из профессоров самые эффективные?

Ответ: профессора с меньшим опытом преподавательской работы и меньшим числом научных степеней от новомодных университетов. Студенты таких профессоров, как правило, очень позитивно отзываются о них и демонстрируют более высокие результаты сдачи стандартизированных тестов по вводным курсам. Понятно, что эти молодые и мотивированные преподаватели относятся к своей работе с большим энтузиазмом, чем старые, «замшелые» профессора с докторскими степенями от престижных университетов (например Гарвардского). Не исключено, что эти «старые зубры» все еще пользуются теми же пожелтевшими от времени конспектами лекций, что и в далеком 1978 году; возможно, они полагают, что PowerPoint – это нечто вроде энергетического напитка (правда, они могут и не знать, что это такое). Очевидно, эти данные говорят нам о том, что этих «динозавров» давно пора уволить или по крайней мере предоставить им шанс красиво уйти со сцены.

Впрочем, не будем торопиться. И спешить с увольнениями. Опыт Академии ВВС США позволил сделать еще один важный вывод – об успеваемости студентов на более протяженном горизонте. Скотт Каррелл и Джеймс Уэст выяснили, что в области математики и точных наук студенты, у которых были более опытные (и более титулованные) преподаватели вводных курсов, демонстрируют лучшую успеваемость в последующих обязательных курсах, чем студенты, обучавшиеся у менее опытных преподавателей вводных курсов. Одно из логических объяснений заключается в том, что менее опытные преподаватели в большей степени склонны «натаскивать на экзамен» по соответствующему вводному курсу. Это приносит впечатляющие результаты на экзаменах и моральное удовлетворение студентам, что выливается в высокие оценки, которые они выставляют своим преподавателям.

Между тем, старые замшелые профессора (которых мы уже были готовы уволить) уделяют меньше внимания экзаменам, сосредоточиваясь на важных положениях своего курса, что положительно влияет на успеваемость студентов в процессе прохождения ими последующих обязательных курсов, а также в их практической деятельности по завершении учебы в Академии ВВС США.

Разумеется, мы должны оценивать деятельность школьных учителей и профессоров. Нам нужно лишь убедиться, что мы делаем это правильно. Задача на перспективу (коренящаяся в статистике) состоит в разработке такой системы, которая вознаграждала бы реальную добавленную стоимость преподавателя, создаваемую им для учеников.