И методов экспертного оценивания

 

Признак оценивания	Значение признака	Общее множество проблем и методов и их характеристика
Согласованность мнений группы экспертов	Мнения членов группы согласованы (условия высокой информиро-ванности)	Здесь эксперты – «хорошие измерители» (более распространенная ситуация) Для обработки результатов экспертизы используются методы математической статистики, основанные на осредненных данных Основные задачи: – определение обобщенной оценки объекта на основе индивидуальных оценок экспертов (для числовых дан- ных – оценки средних и рассеяния) – построение обобщенных оценок объектов на основе результатов парного сравнения объектов от каждого эксперта (для содержательных данных) – определение относительных весов объектов (путем дополнительной экспертизы или обработки оценок проведенных экспериментов) – определение согласованности мнений экспертов (коэффициент конкордации) – определение зависимости между ранжировками (коэффициент корреляции)
Мнения членов группы не согласованы (условия низкой и разной информированности)	Здесь эксперты – «плохие измерители» (менее распространенная ситуация) Для обработки результатов экспертизы невозможно использовать принцип осреднения, поэтому используются методы качественного анализа

 

Окончание табл. 1.20

 

Признак оценивания	Значение признака	Общее множество проблем и методов и их характеристика
Вид исходной информации	Числовые данные	Для измерения используются методы непосредственной оценки или последовательного сравнения. Результат измерения – числа или баллы Для обработки используются методы математической статистики
Содержательные данные (качественная информация)	Для получения оценок используются методы ранжирования и парного сравнения. Результат измерения – ранги Для обработки используются специальные (достаточно сложные) методы обработки ранжированных данных. Часто для упрощения используют способ сумм рангов (свертка по всем экспертам для одного объекта)

 

 

Известны две меры согласованности мнений группы экспертов: дисперсионный и энтропийный коэффициенты конкордации (ДКК и ЭКК).

Дисперсионный коэффициент конкордации. ДКК оценивается формулой (8). Для ее вывода проведем ряд рассуждений [9]. Пусть имеется матрица результатов ранжировки и объектов группой из m экспертов ||r_ij|| (j = 1, …, m; i = 1, …, n), где r_ij – ранг, присваиваемый j-м экспертом i-му объекту.

Найдем вектор

(1)

 

Определим оценку дисперсии найденной последовательности в предположении, что она случайная величина

(2)

где

(3)

 

ДКК определяется как отношение оценки дисперсии D к максимальному значению этой оценки:

(4)

Значение W изменяется от нуля до единицы, так как 0 £ D £ D _max.

Найдем D _max для случая отсутствия связанных рангов (все объекты различны), предварительно показав, что D зависит только от n и m (числа объектов и количества экспертов). Подставив (1) в (3), получим

(5)

 

Если j = const, найдем сумму рангов для j -го эксперта. Поскольку для ранжирования используются натуральные числа от 1 до n, можно записать сумму натуральных чисел от 1 до n:

(6)

 

Подставив (6) в (5), получим:

(7)

Из (7) видно, что величина зависит только от n и m (числа объектов и количества экспертов). Осуществив ряд последовательных преобразований [9], можно получить

Введя обозначение можно записать выражение для оценки D в виде

Тогда окончательное выражение для коэффициента конкордации (для случая отсутствия связи рангов) запишется как

(8)

максимальное значение дисперсии достигается в случае полного совпадения мнений экспертов. Минимальное значение дисперсии, которое равно нулю, достигается в случае, если эксперты дают несовпадающие мнения. Доказательство этого утверждения здесь не приводится, оно дано в [9]. При наличии связанных рангов коэффициент конкордации вычисляется по формуле

где Здесь Т_j – показатель связанных рангов в j -й ранжировке, H_j – число групп равных рангов в j -й ранжировке,
h_k – число равных рангов в k -й группе связанных рангов в ранжировке j -го эксперта.

ДКК = 1, если все ранжировки одинаковы (имеется явный сговор [7]).

ДКК = 0, если все ранжировки различны (некомпетентность [7]).

ДКК можно считать случайной величиной. В таком случае необходимо дать оценку значимости значения ДКК. Для больших значений n и m (при n > 7) можно использовать критерий .

Доказано, что величина w = m (n – 1) имеет распределение с степенями свободы.

При наличии связанных рангов (более общего случая)

 

Определение взаимосвязи ранжировок. Для решения задачи определения зависимости между ранжировками двух экспертов или связи между достижением двух различных целей при решении одной и той же совокупности проблем или взаимосвязи между двумя признаками используют меру, называемую коэффициентом ранговой корреляции (КРК).

Характеристикой взаимосвязи множества ранжировок или целей будет являться матрица КРК. Известны КРК Спирмена и Кендалла.

КРК Спирмена определяется формулой

где К ₁₂ – взаимный корреляционный момент первой и второй ранжировок, D ₁, D ₂ – дисперсии этих ранжировок. Для определения взаимовлияния двух ранжировок К ₁₂ , D ₁ и D ₂ вычисляются по формулам:

где n – число ранжируемых объектов; – ранги в первой и второй ранжировках соответственно; – оценки средних рангов.

Оценки средних рангов определяются как

Проведя ряд преобразований, можно получить удобную для расчетов формулу КРК Спирмена для несвязанных рангов:

КРК Спирмена изменяется от –1 до +1. КРК = 1 при одинаковых ранжировках, т.е. при . Значение r = –1 имеет место при противоположных ранжировках (прямой и обратной). Если КРК=1, то ранжировки считаются линейно независимыми.

Определить значимость случайной величины r можно с помощью следующих формул и рассуждений.

Если |r| < e, где e – пороговое значение случайной величины r для вероятности b, то оценка КРК Спирмена считается значимой. e определяется как

где n – количество объектов;

y(х) – функция, обратная функции

Значения функции табулированы [11].

Для определения значимости оценки КРК Спирмена можно воспользоваться критерием Стьюдента, поскольку величина приближенно распределена по закону Стьюдента
с n – 2 степенями свободы.

Для связанных рангов КРК Спирмена имеет вид:

где r – оценка КРК Спирмена,

здесь k ₁ и k ₂ – количество связанных рангов в первой и второй ранжировках соответственно.

КРК Кендалла при отсутствии связанных рангов определяется формулой:

где n – количество объектов; r_ij – ранги объектов; sign х

.

Сравнение (из опыта использования) обоих КРК показывает, что КРК Спирмена дает более точный результат и рассчитывается по более простой формуле, т.е. при практических расчетах он более предпочтителен.

 

Пример. Два эксперта провели ранжирование пяти объектов. Результаты ранжировки приведены в таблице.

 

О j Э i	О1	О2	О3	О4	О5
Э1
Э2
(r 1 j – r 2 j )		–1		–2
(r 1 j – r 2 j )2

 

КРК Спирмена .

Определим порог e при b = 0, 05:

.

Поскольку r = 0, 5 < e = 0, 98, оценка КРК является значимой.

 

Энтропийный коэффициент конкордации (ЭКК) определяется формулой из [9]:

где Н – энтропия, вычисляемая как

Н _max – максимальное значение энтропии, Р_ij – оценки вероятностей j -го ранга, присваиваемые i -му объекту; – отношение количества экспертов m_ij, приписавших объекту О _i ранг j, к общему числу объектов m.

Максимальное значение энтропии достигается при равновероятном распределении рангов, т. е. когда тогда Подставив Р_ij в выражение для определения Н, получим:

Значение ЭКК изменяется от нуля до единицы. При W _э = 0 расположение объектов по рангам равновероятно, поскольку
Н = H _max. Данный случай может быть обусловлен либо невозможностью ранжировки объектов по заданным показателям, либо полной несогласованностью мнений экспертов. При W _э = 1 (при Н = 0) все эксперты дают одинаковую ранжировку.

ЭКК и ДКК дают примерно одинаковую оценку согласованности мнений экспертов при различных ранжировках. Но ЭКК позволяет обнаружить факт разделения мнений экспертов на две противоположные группы (в таком случае ЭКК = 0, 7, а ДКК = 0). Однако объем вычислений для ЭКК несколько больше, чем для ДКК.

В настоящее время для сбора и обработки эвристической информации применяют новые теории, например, теорию нечетких множеств. В работе [17] приводятся примеры использования возможностей, параметрическое представление управленческих оценок в виде нечетких интервалов, сравнение нечетких интервалов и др.

 

 

Контрольные вопросы и задания к разделу 1

 

1.1.

1. Эволюция ФСА.

2. В чем заключается универсальность метода ФСА?

3. Области применения ФСА.

4. Менеджмент качества и ФСА.

5. На чем базируется ФСА? Основная идея метода.

6. В чем отличие ФСА от традиционных методов анализа?

7. Трудности внедрения результатов ФСА.

 

1.2.