Больше экспертов, хороших и разных. Больше систем оценок.

Раз каждый эксперт субъективен – пусть будет как можно больше оценок. Главное, чтобы каждый эксперт объяснил, за что именно он ставит оценку. Если это прецедент, описанный наблюдателем – эксперт присваивает ему набор компетенций. Если эксперту набора прецедентов недостаточно – он добавляет свои описания.

Пользуясь обычными фильтрами, можно затем выбирать разные группы экспертов по одно

му и тому же человеку и смотреть – как меняется его профиль компетенций в зависимости от состава оценивавших.

Этим методом мы сразу выявляем и необъективных экспертов и "завышенные" или "заниженные" результаты.

Используя сравнение профиля компетенций в зависимости от примененных систем оценки (ассессмент, оценка по достижениям, оценка 360), мы получаем еще один инструмент отбора по компетенциям.

Пообщавшись с разными работодателями, мы пришли к тому, что у всех разные представления о корректности процедур съема компетенций. Кто-то доверяет результативной модели. Кто-то – ассессменту, но не всякому, а кто-то – оценке 360. Привести всех к общему знаменателю невозможно. Поэтому лучше использовать все возможные модели и дать работодателям (а вернее – конечному пользователю результатов) возможность самому для себя выбирать референтный набор систем, прецедентов и экспертов.

А для того, чтобы сопоставить разные модели компетенций – мы вводим в систему функционал пересчета, чтобы можно было конвертировать например модель компетенций школьную – в модель ВУЗа. А модель ВУЗа – в модель отраслевого работодателя.

Статистика и прозрачность – наше все

Главная проблема существующих механизмов оценки компетенций – в непрозрачности результатов. Обычно заказчик (ВУЗ или компания) получает на руки готовые аналитические заключения по каждому сотруднику. В ситуации учебного процесса важнее и для учителя и для студента понимать, за что именно и на каком основании были получены оценки. Нужна прозрачность всего процесса оценки для всех участников.

Дополнительным эффектом от этого метода становится возможность быстро сопоставлять разные наборы мероприятий и прецедентов и их влияние на профиль компетенций.

Еще один эффект – возможность накопления исследовательской статистики изменений профилей компетенций по разным выборкам студентов в зависимости от использованных учебных технологий. Таким образом можно оценивать качество различных УМК.