Книга: Тирания показателей. Как одержимость цифрами угрожает образованию, здравоохранению, бизнесу и власти
Назад: 15. Непредвиденные, но предсказуемые отрицательные последствия
Дальше: Благодарности

16. Когда и как применять количественные показатели

В подсчетах и оценках результативности людей нет ничего внутренне пагубного. Мы все делаем далекоидущие выводы на основе своего ограниченного опыта, и количественные данные могут служить противовесом субъективным суждениям. Эта книга посвящена количественным показателям результативности, по которым оценивают достижения и неудачи людей. Практически в каждой организации есть разумные показатели результативности.
В приведенных примерах мы видели немало случаев полезного и эффективного применения количественных показателей.
В сфере охраны правопорядка компьютерная база данных по частоте совершения преступлений (Compstat) показывает, где ситуация особенно серьезна и куда нужно направить дополнительные ресурсы. Проблемы возникали только тогда, когда начальство начинало грозить понижением в должности или отказом в повышении по службе в целях снижения показателей уровня преступности.
В высших учебных заведениях оценку профессорско-преподавательского состава можно улучшить с помощью данных о публикациях и учебном процессе. Количественные показатели способны сослужить дурную службу только при их механическом использовании теми, кто не в состоянии оценить точность и важность данных.
В сфере начального и среднего образования стандартные тесты можно использовать для информирования учителей об уровне знаний учеников по определенным предметам. Учителя могут консультироваться с коллегами и корректировать методы преподавания и учебные планы соответствующим образом. Но, когда тесты становятся основой системы поощрения или наложения взысканий на школы и учителей, возникают проблемы.
В здравоохранении проект Питера Проновоста «Основы интенсивной терапии» показал, насколько эффективными могут быть диагностические данные в снижении частоты врачебных ошибок, но в этом случае то, что измеряется, согласуется с профессиональными ценностями практикующих врачей. Успех системы организации Geisinger Health System наглядно показывает, каких улучшений можно добиться, когда количественные показатели внедряются в институциональную культуру, основанную на сотрудничестве, где выбор критериев и оценка осуществляются командой с участием врачей и администраторов. В обоих случаях количественные показатели используются не в ущерб внутренней мотивации и профессионализму. Но, как мы видели в других местах, система вознаграждения в зависимости от результативности оказалась бесполезной и вредной.
Размышления о полезности показателей результативности в армии США показали, что, несмотря на обманчивость универсальных индикаторов, специализированные показатели для конкретных случаев могут быть действительно информативными. Проблема в том, что нужно отказаться от универсальных шаблонов, найти предмет, заслуживающий оценки, и понять подлинный смысл цифр в местном контексте.
Как мы убеждались неоднократно, количественная оценка не является альтернативой профессиональному суждению: оценки требуют суждения – принятия решения о том, нужны ли они, что надо оценивать, как судить о значимости оценки, следует ли вознаграждать и наказывать по результатам и кому раскрывать цифры.
Если вы отвечаете за определение политики, то ниже приведены вопросы, которые следует поставить, и факторы, которые следует иметь в виду при принятии решения о необходимости использования показателей результативности. Эти вопросы составляют контрольный лист успешной оценки результативности. Учитывая сказанное ранее об опасностях зацикленности на количественных показателях, не забывайте о том, что в некоторых случаях лучше всего вообще отказаться от них.

Контрольный лист

1.      Какую именно информацию вы собираетесь контролировать? Чем сильнее объект контроля напоминает неодушевленный предмет, тем выше вероятность того, что его можно оценить количественно. Именно поэтому количественные оценки необходимы в естественных науках и технике. Когда на контролируемые объекты влияет процесс оценки, результаты становятся менее надежными. Надежность становится еще меньше, если оценивается человеческая деятельность, поскольку объекты, то есть люди, обладают самосознанием и могут реагировать на процесс оценки. А если речь идет о вознаграждении и наказании, то вероятность реагирования людей и искажения результатов становится еще выше. Чем больше цели вознаграждения приемлемы для людей, тем выше вероятность того, что они будут способствовать повышению достоверности оценки.
2.      Насколько полезна эта информация? Не забывайте, что возможность количественной оценки какой-либо деятельности не делает ее заслуживающей контроля. Простота оценки может быть обратно пропорциональной значимости результатов. Иными словами, задайтесь вопросом, действительно ли оцениваемое является тем, что вы хотите контролировать. Если информация не слишком полезна или не слишком хорошо представляет то, что вас интересует, то лучше отказаться от ее оценки.
3.      Есть ли польза от увеличения количества показателей? Помните, что оценка результативности больше подходит для выявления отклонений, в особенности плохих работников и явных нарушений дисциплины. Она не так полезна для контроля работников в средней или верхней части шкалы результативности. Плюс еще один момент: чем больше показателей вы контролируете, тем выше вероятность того, что расходы на это превысят получаемые выгоды. Полезность количественных показателей не означает, что с увеличением их числа польза будет расти.
4.      Нанесет ли ущерб отказ от стандартизированных оценок? Существуют ли другие источники информации о результативности, основанные на суждении и удовлетворенности клиентов, пациентов, родителей учащихся? Например, в школах уровень спроса на определенного учителя со стороны родителей может быть полезным индикатором качества преподавания независимо от того, какие результаты показывают стандартные тесты. В благотворительных организациях лучше всего позволить получателям помощи судить о результатах.
5.      В каких целях используются количественные оценки или для кого они предназначены? Существует ключевое различие между данными, которые используются в целях внутреннего контроля самими работниками, и данными, которые используются внешними сторонами в целях поощрения и наказания. Например, в каких целях используются данные о преступности: для определения мест, куда нужно направлять больше патрульных машин, или для решения вопроса о повышении начальника участка? Или для чего используются статистические данные: врачами для определения наиболее эффективных методов лечения или администраторами для решения вопроса о поощрении больницы? Инструменты оценки, такие как тесты, нужны, но наиболее полезны они для внутренних целей, а не для внешнего контроля общественностью, не понимающей их ограниченности. Такие оценки можно использовать для информирования работников об их результативности относительно коллег, для поощрения отличившихся и помощи отстающим. Но применение оценок для принятия решений о продлении трудового договора и повышении зарплаты ведет к манипуляциям или откровенному мошенничеству.
Показатели результативности, связанные с вознаграждением и наказанием, могут действительно повышать внутреннюю мотивацию, когда цели согласуются с профессиональными задачами работников. В то же время если схема вознаграждения и наказания провоцирует поведение, которое работники считают бесполезным или вредным, то количественными показателями будут манипулировать. А если работников ставят в зависимость от внешних вознаграждений, они вполне могут сосредоточиться на том, что оценивается и вознаграждается за счет других, не менее важных аспектов их работы. По этим причинам показатели, от которых судьба работника зависит в меньшей степени, часто оказываются более эффективными.
Прямая плата за результаты лучше всего работает, когда люди мотивированы не внутренними, а внешними стимулами, то есть когда их больше интересует заработок, а не другие потенциальные блага работы, социальные или интеллектуальные. Это может объясняться работой в определенной сфере, например в финансах, где принято измерять профессиональный успех почти всецело размером заработка. (Как мы уже отмечали, это не исключает использования заработанного на широкий круг целей, в том числе бескорыстных.) Если работа имеет мало привлекательных сторон – монотонна и не оставляет места для инициативы (например, замена ветровых стекол или изготовление гамбургеров), – то плата за результаты, скорее всего, будет эффективной.
6.      Какова стоимость получения показателей? Информация никогда не бывает бесплатной, а часто обходится дорого самым неожиданным образом для тех, кто требует больше данных. Сбор, обработка и анализ данных требуют времени, и их стоимость равна потерям от упущенной возможности другого использования этого времени. Иначе говоря, всякий раз, когда вы с коллегами занимаетесь оценкой количественных показателей, вы отвлекаетесь от оцениваемой деятельности. Разумеется, если вы занимаетесь анализом данных, то оценка показателей – ваша основная деятельность. Но для остальных это отвлечение от основной деятельности. Таким образом, если оценка результативности необходима, ее ценность может быть меньше затрат на получение. Помните также о том, что такие расходы рабочего времени и сил почти невозможно подсчитать, и это еще одна причина соблюдать осторожность.
7.      Спросите, почему руководители организации требуют представления показателей результативности. Как уже отмечалось, потребность в них порою связана с непониманием институтов, во главе которых руководители поставлены. Поскольку опыт и знание местных условий важны, отдавайте предпочтение собственным сотрудникам. Даже если на стороне есть более сильный и более успешный кандидат, отсутствие у него знания именно вашей компании, вашего университета, вашего правительственного агентства или другой организации может свести на нет все выгоды от его найма.
8.      Как и кто разрабатывает показатели результативности? Показатели учета нередко менее эффективны, когда их спускают сверху и создают на основе стандартных формул, разработанных людьми, далекими от активного участия в оцениваемой деятельности. Количественные показатели более осмыслены, когда идут снизу и в их разработке участвуют учителя, младший медицинский персонал и рядовые полицейские. Иначе говоря, о том, как следует разрабатывать стандарты результативности, нужно спрашивать обладающих неявным знанием, которое вытекает из непосредственного опыта. Попытайтесь задействовать репрезентативную группу людей, заинтересованных в результатах. В идеале они должны оставаться участниками процесса оценки получаемых данных.
Помните, что система оценки эффективности работает в той мере, в какой люди, деятельность которых оценивается, считают эту систему необходимой. До сих пор в этой главе мы смотрели на вещи с позиции тех, кто определяет, надо ли вводить количественные показатели и как это делать. Но что, если вы стоите на более низкой ступени организационной иерархии, где нужно выполнять установленные нормы, если вы, скажем, менеджер среднего звена или глава научного подразделения? В таком случае вам придется выбирать. Если вы верите в цели, ради которых собирается информация, то вам нужно обеспечить максимально эффективное получение точных данных с минимальными затратами своего и чужого времени. Если же вы считаете цели, ради которых собирается информация, сомнительными, а процесс ее сбора нерациональным, то можете попробовать убедить в этом руководителей (возможно, с помощью этой книги). Если это не поможет, то ваша задача будет заключаться в сборе данных так, чтобы он отнимал минимум времени, соответствовал минимальным стандартам приемлемости и не наносил вреда вашему подразделению.
Если вы находитесь на вершине иерархии и участвует в принятии решения относительно количественных показателей, перечитайте предыдущий абзац и учтите реакцию своих подчиненных. Показатели лучше всего работают, когда те, кого оценивают, верят в их цели и правильность.
9.      Помните, что даже лучшие показатели могут искажаться и уводить от цели. Пока люди являются агентами, стремящимися максимизировать собственные выгоды, в схемах вознаграждения в зависимости от результативности всегда будут изъяны. Если, как в настоящее время, вознаграждать врачей за количество выполненных процедур, у них всегда будет стимул назначать лишние процедуры, которые стоят дорого, но мало что дают. А если платить врачам за количество принятых пациентов, то у них появится стимул увеличить прием и сократить число процедур, которые поглощают время, хотя и могут принести пользу. Если же вознаграждать врачей за успешное излечение, то они, скорее всего, начнут заниматься снятием сливок и отказываться от самых тяжелых пациентов.
Конечно, от оценки результативности не следует отказываться просто потому, что у нее есть отрицательные стороны. Количественные показатели полезны, несмотря на ожидаемые проблемы: все зависит от баланса плюсов и минусов, и здесь требуется профессиональное суждение.
10.  Не забывайте, что порой мудрость начинается с признания пределов возможного. Не все проблемы разрешимы, и еще меньше проблем разрешимо с помощью количественных показателей. Утверждение, что все можно усовершенствовать с помощью количественной оценки или что все поддающееся количественной оценке можно улучшить, неверно. Как неверно и утверждение, что повышение прозрачности всегда необходимо для решения проблемы. Прозрачность может сделать проблемную ситуацию более очевидной, но при этом необязательно более разрешимой.
В заключение следует заметить, что магического средства, замены реальному знанию конкретного предмета и конкретной организации не существует. Такое знание – результат опыта и не поддающегося количественной оценке профессионального мастерства. Многие важные вопросы, требующие суждения и интерпретации, могут быть решены с помощью стандартизированных количественных показателей. В конечном счете вопрос заключается не в противопоставлении количественных показателей и субъективного суждения, а в применении показателей для формирования обоснованного суждения, включающего в себя понимание весомости показателей и характерных для них перекосов, а также того, что не поддается количественной оценке. В последние десятилетия слишком многие политики, руководители бизнеса, законодатели и представители научных учреждений упускают это обстоятельство из виду.
Назад: 15. Непредвиденные, но предсказуемые отрицательные последствия
Дальше: Благодарности