Книга: Шум. Несовершенство человеческих суждений
Назад: К разговору о методических рекомендациях в медицине
Дальше: Ранжируем без принуждения

Старая проблема: в поисках решения

Если системы оценки эффективности работника настолько серьезно искажены, то люди, несущие ответственность за подобные тесты, должны заметить нарушения и принять меры к их исправлению. За последние несколько десятилетий действительно предпринимались попытки реформирования: организации внедряли стратегии снижения шума, о которых говорилось выше. Однако мы считаем, что работы еще непочатый край.

Методы обобщения используются практически в каждой компании и чаще всего ассоциируются с моделью «360 градусов», которая в 1990-х годах стала стандартной для крупных корпораций. (Журнал Human Resources Management опубликовал специальный выпуск, посвященный данной модели, еще в 1993 году.)

Следует отметить, что методы усреднения рейтингов, определенных разными экспертами, должны способствовать снижению шумового фона, однако модель «360 градусов» придумали для других целей. Ее основная задача – оценить больше факторов, чем видит невооруженным глазом босс корпорации. Когда коллеги и подчиненные добавляют свое видение к оценке вашей эффективности, меняется сама природа качеств, которые они оценивают. Теоретически подобный сдвиг является шагом вперед, поскольку суть современных подходов к работе заключается не только в удовлетворении требованиям босса. Рост популярности модели «360 градусов» совпал с развитием концепции гибкой, ориентированной на реализацию проектов организации.

Имеется ряд свидетельств, что модель «360 градусов» стала полезным инструментом, прогнозирующим объективно измеряемую358 эффективность работы. К сожалению, использование данной модели привело к некоторым проблемам. Всеобщая компьютеризация существенно облегчила добавление новых вопросов в подобные системы оценки. К тому же по мере усложнения корпоративных целей и правил разрастались и описания должностных функций, из-за чего многие формуляры для отзывов непомерно разбухли. Сегодня предостаточно анкет, перегруженных многочисленными вопросами359 (мы видели анкету, содержащую одиннадцать оценочных характеристик каждого работника: каждый подраздел состоял из сорока шести вопросов). Похоже, эксперту следует обладать сверхчеловеческими способностями, чтобы запомнить и учесть каждый значимый факт в отношении многих работников, оцениваемых по огромному количеству параметров. Описанный нами сложнейший подход не только бесполезен во многих отношениях; по сути, его влияние пагубно. Мы уже поняли, к чему приводит завышение оценки работника вследствие какой-либо преобладающей характеристики («эффект ореола»): некоторые независимые параметры измерения в итоге теряют свою независимость. Акцентированная положительная либо отрицательная оценка по первому же пункту вопросника задает тон при ответах на прочие вопросы анкеты.

Еще более важное соображение: развитие модели «360 градусов» в разы увеличило затраты времени на составление отзыва. Менеджера среднего звена могут попросить ответить на десятки анкет, посвященных характеристикам его коллег (начальников и подчиненных), а порой и работников из других компаний. Дело в том, что сегодня многие организации просят обратной связи от клиентов, поставщиков и иных партнеров по бизнесу. Намерение благое, однако подобный шквал требований, предъявляемых к экспертам, которые и так находятся в цейтноте, вряд ли даст основания ожидать качественной информации. В таком случае достигнутое снижение шумового фона не стоит затраченных усилий, что мы и обсудим в шестой части нашей книги.

И наконец, модель «360 градусов» не располагает защитой от общей болезни всех систем оценки: постепенной инфляции рейтингов. Одна из крупных промышленных компаний указала, что 98 %360 ее менеджеров получили оценку «полностью удовлетворяет ожиданиям». Если почти каждому присваивается наивысший балл, напрашивается вопрос: какова ценность подобных рейтингов?

Аргументы в пользу суждений относительного характера

Теоретически эффективным решением проблемы инфляции рейтингов может стать их стандартизация. Одна из популярных практик в этом плане – принудительное ранжирование361. В рамках данной системы оценивающего не только ограничивают в возможности поставить аттестуемому завышенный балл, но и заставляют действовать в пределах заданного распределения оценок. Систему принудительного ранжирования горячо поддерживал Джек Уэлч в бытность руководителем General Electric, считая ее способом устранения инфляции рейтингов и гарантией «честной» аттестации. Многие компании взяли методику ранжирования на вооружение, однако впоследствии были вынуждены от нее отказаться, указав на ее нежелательное воздействие на моральное состояние коллектива и командную работу.

Каковы бы ни были недостатки методики, отметим, что ранжирование содержит меньше изъянов, нежели индивидуальные рейтинги. В примере с компенсацией морального ущерба мы наблюдали, что суждения относительные содержат меньше шума, чем абсолютные, и данная закономерность также прослеживается в оценке деловых качеств работников362.



Рис. 17363. Примеры абсолютной и относительной шкалы оценки





Причины подобной разницы мы поймем, посмотрев на рисунок 17, представляющий нашему вниманию два примера шкалы оценки работников. В секции А служащий оценивается по шкале оценок в абсолютном выражении. Здесь от оценивающего требуется выполнить процедуру, которую мы называем «совмещением»: необходимо найти то значение, которое наиболее полно соответствует вашим впечатлениям от качества работы подчиненного. В секции Б, напротив, требуется сравнить вашего сотрудника с группой его коллег по одному параметру (в данном случае по надежности). Руководителя просят определить ранг сотрудника (или дать оценку в процентном выражении) в коллективе, используя процентильную шкалу. Мы видим, что начальник оценил по данной шкале трех подчиненных.

Подход, представленный в секции Б, имеет два преимущества. Во-первых, одновременное ранжирование всех сотрудников по одному критерию служит примером стратегии снижения шума, которую мы более подробно обсудим в следующей главе. Мы говорим о делении комплексного суждения на несколько элементов. Подобное структурирование представляет собой попытку ограничить влияние эффекта ореола, за счет которого баллы, присвоенные работнику по разным параметрам, колеблются в пределах узкой зоны значений. Разумеется, подобное структурирование работает лишь в случаях выполнения ранжирования отдельно по каждому критерию, как и указано в нашем примере. В случаях, когда ранжирование производят на основе неверно определенного общего суждения «о качестве работы», снизить влияние эффекта ореола не получится.

Во-вторых, как мы уже говорили в главе 15, ранжирование снижает воздействие и внутриэкспертного, и межэкспертного шума. Вероятность ошибки сильно уменьшится, если вы сравните эффективность двух членов вашей команды, и возрастет, если вы попытаетесь оценить каждого по отдельности. В данном случае важно отметить, что ранжирование механически устраняет межэкспертный шум. Если Линн и Мэри оценивают одну и ту же группу из двадцати работников (учитывая, что Линн снисходительнее своей коллеги), то средний индивидуальный рейтинг, определенный нашими дамами, будет отличаться, а вот средний результат ранжирования – нет. Что снисходительный, что строгий эксперт – в данном случае оба используют один и тот же подход.

Снижение шума является главной заявленной целью принудительного ранжирования, которое гарантирует, что каждый оценивающий эксперт в итоге приходит к одному и тому же среднему значению и идентичному распределению оценок. Ранжирование носит принудительный характер в случаях, когда распределение оценок строится на обязательном условии. Например, стандарты компании предусматривают, что не более 20 % работников может попасть в высшую категорию и не менее 15 % – в низшую.

Назад: К разговору о методических рекомендациях в медицине
Дальше: Ранжируем без принуждения