Оценка уровня компетентности эксперта

Компетентность (Гурвич) – способность эксперта давать info, близкую к истинной.

Классификация критериев компетентности:

1. Азгальдов:

a. Объективность;

b. Контактность;

c. Заинтересованность в экспертизе;

2. Гурвич:

a. Креативность;

b. Эвристичность;

3. Панкова:

a. Информативность;

b. Устойчивость мнений;

c. Владение семантическим полем проблемы (min – владение профессиональной лексикой);

d. Квалиметрическая или измерительная компетентность (способность эксперта работать в заданном режиме измерения, взаимодействовать с другими участника группы и т.п.);

4. Орлов:

a. Объективные показатели, связанные с опытом профессиональной деятельности:

1) Уровень образования;

2) Профиль работы (связь с предметной областью);

3) Опыт работы по профилю;

4) Количество и качество ранее выполненных экспертиз (ранее сбывшиеся прогнозы);

b. Уровень информированности экспертов:

1) Информированность по проблеме;

2) Устойчивость мнений по экспертной задаче;

3) Профессиональная беспристрастность эксперта;

c. Умение работать в команде:

1) Коммуникабельность;

2) Способность к совместному творчеству;

3) Нонконформизм;

Общие требования к оценке – эта процедура не должна быть навязчивой и слишком явной => использование min болезненных методов оценки.

Методы оценки компетентности экспертов:

1) Априорные. Оценка до начала экспертной деятельности.

a) Документальный. Оценка уровня компетентности по вторичным источникам:

i) Листки по учету кадров;

ii) Публикации;

iii) Индекс цитирования;

iv) Справочники профессиональных сообществ;

v) Рейтинги и топ-листы профессиональных журналов;

vi) Итоги конкурсов и т.п.

b) Метод самооценки. Паниотто, Азгальдов: этот метод эффективен, т.к. специалист, уверенный в своих знаниях, как правило, имеет высокий уровень самооценки. Орлов, Гурвич, Панкова: самооценка субъективно зависит от текущего момента в профессиональной деятельности:

i) Насколько вы информативны;

ii) Конкретный вопрос: можете ли вы проранжировать…;

c) Судейский метод. Взаимная оценка экспертами уровня компетентности друг друга (при условии знакомства экспертов). Задаются критерии компетентности или формируется группа наиболее компетентных экспертов, которые должны оценить других.

2) Апостериорные. Во время экспертной деятельности.

a) Тестовый метод. Позволяет оценить степень приближенности знаний эксперта к истинным. Используется на 1ом этапе, может камуфлироваться под экспертное задание. Очень надежный метод, т.к. правильное решение известно. Обычно тестируется 2 критерия:

i) Владение профессиональной лексикой;

ii) Уровень информативности по решаемой проблеме (1ый вопрос не является экспертной проблемой, а служит для оценки компетентности) => Ранжируем список экспертов с разным весом компетентности → после проведенного исследования этот список понадобится для того, чтобы выбрать мнение наиболее компетентных экспертов. В итоге получаем 2 списка:

(1) Список незаменимых экспертов (встреча с экспертами на любых условиях).

(2) Заменяемый список – для подстраховки (более жесткая договоренность, может быть меньшее вознаграждение). Для достижения договоренности необходим специалист.

Этап формирования рабочей экспертной группы: Необходим при будущей коллективной работе экспертов.

Подготовка экспертов к работе:

1) Содержательная адаптация экспертов – все эксперты должны одинаково владеть лексикой, знанием проблемы → в письменной форме или в процессе знакомства. Общее знакомство с экспертной проблемой (дается список вопросов, которые будут обсуждаться → обратная связь: насколько им понятны вопросы, необходимость получения дополнительной info и т.п. → коррекция методических документов).

2) Квалиметрическая адаптация – все получают info о том, какой метод сбора info будет использоваться.

3) Психологическая адаптация (только для групповых форм деятельности) – совмещается с процедурой знакомства:

a) Выявление напряженных оппозиций;

b) Выявление давления авторитетов;

c) Выявление наличия узких интересов;