Как проверяется, насколько методика оценки соответствует истинному положению вещей?

Любая методика оценки должна быть специальным образом проверена, насколько она правдива, с какой погрешностью ей можно доверять. Я могу рассказать, как мы проверяли нашу методику «Squadrille».

Экспертиза проводилась на основе анализа результатов применения методики в разных фокус-группах. Профессии представителей групп:

• менеджеры среднего и высшего звена;

• инженеры;

• ИТ-специалисты;

• служащие государственных организаций;

• представители рабочих профессий.

Количество испытуемых:

• 978 человек в возрасте от 25 до 50 лет (разбивка на произвольные возрастные группы);

• 234 человека в возрасте от 18 до 20 (студенты московских вузов).

Надежность методики определяется точностью измерений. Ошибка измерений – это статистический показатель степени влияния случайных факторов на итоговый результат. Статистический анализ распределения ответов по отдельным шкалам и, как следствие, статистическое распределение оценок, полученных респондентами, в абсолютном большинстве случаев соответствуют нормальному (гауссовскому) распределению, характерному для статистики опросов, на результаты которых могут влиять независимые друг от друга случайные обстоятельства.

На рисунке 5 пример распределения уровня коммуникабельности сотрудников одного из исследуемых коллективов (вертикальная ось – количество людей, горизонтальная – количество баллов по нашей шкале коммуникабельности).

Рис. 5. Распределение выбора ответов на шкале «Коммуникабельность»

Оценки шкалы: «1» – полное избегание общения, «5» – максимальная открытость в общении, «3» – коммуникабельность уравновешенного человека.

А это пример распределения уровня организованности по результатам обработки большого массива данных (рисунок 6).

Рис. 6. Распределение выбора ответов на шкале «Организованность»

Оценки шкалы: «1» – полное отсутствие самоорганизации, «5» – максимальная педантичная организованность, «3» – организованность уравновешенного человека.

Статистика оценок, полученных респондентами по другим шкалам, дает аналогичное распределение результатов. Усредненный коэффициент надежности по разным шкалам равен 0,83, что рассматривается как высокий показатель.

Валидность методики определяется ее способностью показывать именно то, на что она нацелена. Необходимо иметь в виду, что нет единого универсального подхода к определению валидности. Чтобы убедиться в валидности метода, лучше всего проверить его двумя способами:

• провести через определенный промежуток времени повторное тестирование одного и того же человека или группы, или

• спросить самих респондентов, согласны ли они с полученной оценкой их личности, насколько достоверен результат опроса.

В нашем случае был применен и тот, и другой подход.

Рис. 7. Пример оценки достоверности характеристик компетенций самими участниками опроса

Рис. 8. Результаты повторной оценки группы респондентов

По нашим расчетам коэффициент корреляции оценок и самооценок составляет 0,68. Это достаточно высокое значение для подтверждения валидности опросника. Может возникнуть вопрос, почему самооценка человека и оценка наша не совпадают на 100 %. Человек, как мы уже неоднократно говорили, – существо со сложным и не до конца понятным механизмом мышления. Я это к тому, что только один из десяти добровольно признается, что он человек расхлябанный и неорганизованный. И так примерно по каждой компетенции.

Достоверность метода в определенной степени обеспечивается введением в обработку результатов опроса индивидуума оценки «лжи», то есть степень несоответствия ответов на одинаковые по сути вопросы. Такое может произойти в следующих случаях:

• респондент неискренен, выбирает наиболее значимые, на его взгляд, или социально одобряемые ответы;

• респондент плохо понимает смысл вербальной информации, то есть фактически у него проблемы с общим интеллектом;

• респондент отвечал на вопросы не задумываясь, формально, лишь бы побыстрее закончить.

Выявленный и подсчитанный показатель «лжи» видит HR-специалист и делает соответствующее заключение для заказчика.

Отдельный разговор о методике игрового способа оценки. Способ может реализовываться в двух форматах:

1. Наблюдение поведения игроков в деловых обстоятельствах. Игроки объединены в несколько команд, соревнующихся в разрешении предлагаемых им задач.

Создатели игры формируют оценочные вопросы в виде деловых обстоятельств, в которых окажутся игроки команды. Как правило, эти обстоятельства препятствуют спокойному течению бизнес-процесса. Вся команда принимает участие в принятии решения для успешного преодоления возникших трудностей. Задачи перед игроками ставятся вполне реальные, практически это ситуации, часто встречающиеся в работе конкретного подразделения. В большинстве сценариев предусмотрено, что каждому игроку команды присваивается определенный статус: «руководитель», «аналитик», «оппозиционер» и т. п. Сам процесс оценки поручается группе экспертов, которые, наблюдая за игроками, делают свои пометки про каждого игрока в отдельности с учетом его статуса в команде. Затем экспертная комиссия совещается и дает заключительную оценку каждому игроку команды по одной или нескольким компетенциям, в зависимости от цели и сценария.

Процесс оценки интересный, но не очень эффективный по следующим причинам:

• кроме подготовки самих вопросов и объединения их в сценарий для игроков, требуется подготовка как минимум трех экспертов;

• все участники игры должны собраться в одном помещении на довольно длительное время, что совсем неудобно ни для кого;

• надо иметь или арендовать подходящее помещение, где можно обеспечить удобства для работы как игроков, так и экспертов. Это недешево;

• опять оценка людей другими людьми, что необъективно изначально, и о чем мы уже говорили в этой книге.

2. Другой вариант предусматривает индивидуальное участие в специальной онлайн-игре и автоматическую оценку с помощью того же софта.

Сценарии игр в этом формате могут быть как реально существующие в бизнесе (управление этажом гостиницы, поиск чего-то на складе), так и фантастические (классическая русская сказка, космическое приключение). Общее в этих двух игровых форматах – создание ситуации, когда надо принять решение. От опрашиваемого будет зависеть судьба игрока, как героя сценария, а также в какое русло пойдет сам сценарий. Давайте посмотрим пример. Аттестуемый, предположим, играет роль управляющего в гостинице. Некий постоялец жалуется на присутствие в гостинице привидений; что стоит предпринять игроку? Сходить вместе с постояльцем на чердак, откуда доносятся странные звуки; сказать постояльцу: «Довольно выдумок, мне не до вас»; отрядить горничную решить проблему постояльца. Смотрите, мы увлекли игрока сюжетом, создали вирусный эффект для HR-бренда за счет сочной графики, а заодно сделали некоторые выводы о клиентоориентированности, умении делегировать, умении фокусироваться на важном.

Это, безусловно, более объективный способ оценки, потому что оцениваемый человек может находиться дома, в привычной обстановке, где нет такого напряжения, как в работе под наблюдением. Но процесс создания игры требует дополнительных интеллектуальных ресурсов: сценаристов, придумавших интересный нелинейный сюжет, методологов, которые согласятся отказаться от привычного им мира «бизнес-кейсов» и станут расшифровывать уместные в игре ответы, дизайнеров-аниматоров.