Организация экспертного оценивания.

 

I) Первым этапом организации работ по применению экспертного оценивания является подготовка и издание руководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В этом документе должны быть отражены следующие вопросы:

- постановка задачи эксперимента;

- цели эксперимента;

- обоснование необходимости эксперимента;

- сроки выполнения работ;

- задачи и состав группы управления;

- обязанности и права группы;

- финансовое и материальное обеспечение работ. I

Для подготовки этого документа, а также для руко­водства всей работой назначается руководитель экспер­тизы. На него возлагается формирование группы управ­ления и ответственность за организацию ее работы.

II. а) После формирования группа управления осуществляет работу по подбору экспертной группы примерно в такой последовательности:

- уяснение решаемой проблемы;

- определение круга областей деятельности, связанных с проблемой;

- определение долевого состава экспертов по каждой области деятельности;

- определение количества экспертов в группе;

- составление предварительного списка экспертов с учетом их местонахождения;

- анализ ка честв экспертов и уточнение списка экспертов в группе;

- получение согласия экспертов на участие в работе;

- составление окончательного списка экспертной группы.

II.б) Параллельно с процессом формирования группы экспертов, группа управления проводит разработку организации и методики проведения опроса экспертов. При этом решаются следующие вопросы: место и время проведения опроса; количество и задачи туров опроса; форма проведения опроса; порядок фиксации и сбора результатов опроса; состав необходимых документов.

III) Следующим этапом работы группы управления является определение организации и методики обработки данных опроса. На данном этапе необходимо определить задачи и сроки обработки, процедуры и алгоритмы обработки, силы и средства для проведения обработки.

В процессе непосредственного проведения опроса экспертов и обработки его результатов группа управления осуществляет выполнение комплекса работ в соответствии с разработанным планом, корректируя его по мере необходимости по содержанию, срокам и обеспечению ресурсами.

IV) Последним этапом работ для группы управления является оформление результатов работы. На этом этапе производится анализ результатов экспертного оценивания; составление отчета; обсуждение и одобрение результатов; представление итогов работы на утвержде­ние; ознакомление с результатами экспертизы организа­ций и лиц.

 

Глава 2

ЭЛЕМЕНТЫ ТЕОРИИ ИЗМЕРЕНИЙ

Основные понятия

1) Экспертное оценивание представляет собой процесс измерения который можно определить как процедуру сравнения объектов по выбранным показателям (признакам). В это определение включены три понятия: объект, показатель (признак) и процедура сравнения. а) Объектами могут быть предметы, явления, решения, б) в качестве показателей сравнения могут использоваться пространственно-временные, физические, физиологические, психические и другие свойства и характеристики объектов. в) Процедура сравнения включает определение отношений между объектами и способ их сравнения. Введение конкретных показателей сравнения позволяет установить отношения между объектами, например «больше»,
«меньше», «равны», «лучше», «хуже», «одинаковы», «предпочтительнее» и т. п. Способ сравнения определяет, например, сравнение всех объектов последовательно с одним объектом или сравнение всех объектов друг с другом в произвольной последовательности.

Для формального описания множества объектов и отношений между ними вводится понятие, 2) эмпирической системы с отношениями:

М = <O, R>,

где - множество объектов, (предметов, явлений, событий, решений и т.п.); - множество отношений между объектами. Запись означает, что объект находится в отношении R_K к объекту ; такое отношение называется двуместным (бинарным), поскольку оно связывает два объекта. Если отношение имеет место между тремя объектами, оно называется трехместным и т.п.

Определим основные свойства отношений. Отношение R рефлексивно, если истинно. Отношение R антирефлексивно, если — ложно. Отношение R симметрично, если из OiROj следует OjROi. Отношение R антисимметрично, если из OiROj и OjROi следует . Отношение R несимметрично, если из истинность OiROj следует, что OjROi ложно. Отношение R транзитивно, если из OiROj и O_jRO_K следует O_iRO_K, где Oi, Oj, О_к суть элементы множества О.

Отношение, которое обладает свойствами рефлексивности, симметричности и транзитивности, называется отношением эквивалентности . При экспертном оценивании, кроме отношения эквивалентности, используется отношение порядка. Это отношение может означать, например: «раньше чем», «больше чем», «предпочтительнее чем». Отношение порядка антирефлексивно и транзитивно. Отношение предпочтительнее обозначается .

Разнообразие возможных объектов, показателей сравнения и видов отношений, встречающихся в реальных измерениях, привело к необходимости установления универсальной системы с отношениями. В качестве такой системы используется числовая система с отношениями:

,

где N – множество действительных чисел; - множество отношений между числами. Числовая система называется полной, если N – есть множество всех действительных чисел.

Основными проблемами теории измерений являются проблемы представления и единственности. Проблемa представления заключается в доказательстве того, что для эмпирической системы с отношениями, выбранной, с целью измерения определенных свойств объектов, можно построить числовую систему с отношениями, описывающую свойства объектов и отношений между ними с помощью чисел.

Для того чтобы числовая система сохраняла свойства и отношения объектов, необходимо, чтобы она была изоморфной или, по крайней мере, гомоморфной эмпирической системе. Поясним эти понятия. Две системы с отношениями , называются подобными, если число отношений одинаково (k = m) и местность отношений одинакова (например, и - двуместные отношения).

Числовая система с отношениями изоморфна эмпирической системе , если эти системы подобны и существует взаимно однозначное отображение (функция) f объектов на числовоемножество, такое, что отношение R_K между объектами имеет место тогда и только тогда, когда имеет место отношение Sk между числами, отображающими объекты на числовой оси. Например, для случая двуместных отношений OiR_KOj имеет место тогда и только тогда, когда ,где числа получены отображением объектов: ri = f(Oi), rj=f(Oj).

Условие взаимной однозначности отображения f является в ряде случаев слишком жестким и не всегда необходимым. Если устранить это условие из предыдущего определения, то приходим к понятию гомоморфизма.

Проблема единственности заключается в определении всех возможных способов представления заданной эмпирической системы различными числовыми системами. Другими словами, проблема единственности решает вопрос о том, сколькими способами можно описать данную эмпирическую систему различными числовыми изоморф­ными или гомоморфными системами и как связаны между собой эти числовые системы.

Проблему единственности можно сформулировать как проблему определения типа шкалы. Шкалой назыв­ается совокупность эмпирической системы, числовой системы и отображения, т. е. <M, H, f>. Пусть <M, H, f> и <M, H, g> две шкалы с разными отображениями f и g, тогда возникает вопрос о взаимосвязи числовых значений, полученных этими отображениями. Например, = f(Oj), = g(Oj). Связь между числами и запишем с помощью функции или . Функция φ называется допустимым преобразованием шкалы. Смысл этого определения состоит в том, что свойства функции φ устанавливают связи между всеми числовыми системами, выбираемыми для описания эмпирической системы. Свойства функции φ определяют тип шкалы и, следовательно, позволяют произвести классификацию шкал измерения. Единственность описания эмпирической системы числовыми системами выражается в свойствах допустимого преобразования шкалы, т. е. в свойствах функции φ.