Дельфи-метод экспертных оценок

 

Одним из наиболее распространенных и результативных методов получения достоверной информации от узкого круга лиц, авторитетных специалистов в различных областях считается Дельфи-метод. Его название происходит от античного города Дельфы, известного своим оракулом, изрекавшим пророчества и предсказания будущего. Создание, математическое обоснование этого метода и первое применение относятся к концу 40-х годов. Сущность Дельфи-метода заключается в следующем. Исходной предпосылкой для него является гипотеза, т.е. соответствующим образом обработанное коллективное мнение экспертов, обладающих соответствующими знаниями, обобщающее их индивидуальные оценки и имеющее необходимую степень надежности и достоверности. При этом истинная величина характеристик лежит в пределах диапазона оценок данной группы экспертов.

Надежность полученных оценок в значительной степени зависит от правильного подбора экспертов, их квалификации, эрудиции, информированности в изучаемых вопросах. Знание ими предмета и их аналитические способности проверяются путем тестирования. Точность результата зависит от статистической обработки результатов исследования.

Дельфи-метод часто используется в прогнозах и оценках процессов, о которых нельзя или трудно собрать информацию, например дать оценки и прогнозы теневого рынка.

Создается рабочая группа, которая разрабатывает комплекс задач, выдвигаемых перед экспертами (проект дерева целей). Используются методы логического обоснования, строятся гипотезы относительно результатов исследования. На этой основе составляется анкета/вопросник. Количество вопросов не должно быть чрезмерным, так как численность экспертов находится в пропорциональной зависимости от него.

На первом этапе формируется представительная группа экспертов, в состав которой входят специалисты различного профиля. Требование одно: чтобы эксперт был достаточно знаком с проблемой и имел по ней собственное суждение. Конечно, учитывается известность кандидата в научном мире или в соответствующей сфере практической деятельности. Численность группы должна быть оптимальной и исходить из потенциально возможных кандидатур: слишком большая группа затруднит обработку данных, может усилить степень разброса мнений в ответах, повысит стоимость исследования; крайне малое число экспертов увеличивает влияние индивидуальных оценок и повышает вероятность случайных ошибок. Следует опираться на принцип разумной достаточности, согласно которому увеличение числа экспертов на единицу (N + 1) практически не повлияет на степень колебания дисперсии их ответов. Разумеется, категорически запрещено включать в коллектив экспертов лиц, лично заинтересованных в результатах исследования. Это противоречит требованиям достоверности и объективности информации. Кибернетика утверждает, что число экспертов не должно быть меньше числа исследуемых проблем. Считается, что число экспертов, как правило, может варьировать в пределах от 15 до 50 человек[28]. Когда формируется группа экспертов, иногда используется следующий метод отбора. Каждому из случайно отобранных пяти специалистов предлагают назвать по пять наиболее авторитетных, с их точки зрения, специалистов, к которым в свою очередь обращаются с подобным предложением. Из образовавшегося списка отбирают тех, чьи фамилии встречаются чаще.

Могут быть получены оценки компетенции экспертов. Разрабатывается тест, на основе ответов на который каждому эксперту выставляется балл компетентности (b_j). Обобщенная характеристика компетентности экспертов отражается средней величиной:

(2.1)

 

где b_i - балл компетентности /-го эксперта;

В̅ - средний балл компетентности группы экспертов;

n - число экспертов в группе.

 

Компетентность оценивается по критерию степени участия в решении изучаемой проблемы или знакомства с нею. Должна быть разработана шкала балльных оценок, соответствующих уровню компетенции.

Иногда вводятся ранги «важности» эксперта, соответствующие его имиджу, известности в ученом мире или в практической области, опыту в изучаемой сфере, занимаемой должности, ученому званию или ученой степени и т.д. Обычно стараются приравнять сумму рангов к 100 или к 1, что упрощает расчет. Формула среднего уровня компетентности принимает вид

(2.2)

 

где R_i - ранг «важности» эксперта.

 

Показатель компетентности, определенный независимыми наблюдателями, целесообразно сопоставить с аналогичными оценками, данными себе самими экспертами. Имеются свидетельства наличия прямой связи между уровнем оценки или самооценки компетенции экспертов и точностью экспертных оценок. Иногда в соответствии с анализом компетентности, организаторы исследования вводят в расчет средней оценки, получаемой из мнений экспертов, «вес» каждого эксперта, т.е. общая оценка является средней арифметической взвешенной.

После того как сформирована группа экспертов, им выдается задание в форме заранее подготовленной анкеты. При этом должна быть обеспечена анонимность опроса, исключающего личный контакт экспертов между собой. На первом этапе исследования каждый эксперт не должен знать об ответах других экспертов. По ответам экспертов строится ряд распределения и исчисляются основные его характеристики: средняя арифметическая, медиана и квартили.

Чем меньше колеблемость, тем больше согласованность ответов и, следовательно, их надежность. Распределение ответов ранжируется по атрибутивным, или количественным, признакам. Исчисляются статистические характеристики ответов: средние величины, показатели колеблемости, медиана и квартили (первый и третий).

Напомним, что средняя величина (х̅) рассчитывается как отношение суммы всех оценок к общему числу экспертов, т.е. как простая средняя арифметическая:

(2.3)

 

где х_i - оценка, данная i-м экспертом;

n - число экспертов, давших ответы.

 

Однако в тех случаях, когда вводится ранг (вес) компетентности, используется формула средней арифметической взвешенной:

(2.4)

Медиана (Ме) - значение варьирующего признака (ответа эксперта), приходящееся на середину ранжированной совокупности (медиана делит ряд распределения пополам):

(2.5)

 

где х₀ - нижняя граница медианного интервала;

k - величина интервала;

f_m - частота медианного интервала;

S_m-1 - сумма накопленных частот в интервалах,

предшествовавших медианному.

 

Медиана рассматривается как групповое мнение экспертов, а межквартильное расстояние является показателем согласованности их мнений.

Квартили (1-й и 3-й) - варианты, отделяющие в порядке возрастания с левой и с правой стороны по 1/4 совокупности:

 

(2.6)

 

(2.7)

 

где Q₁ и Q₃ - соответственно 1-й и 3-й квартили;

- минимальная граница интервала, содержащая 4-й квартиль

(верхний), которая определяется по накопленным частотам;

- то же для 3-го (нижнего) квартиля;

k - величина интервала;

S_Q1-1 - накопленная частота интервала, предшествующего

интервалу, содержащему нижний квартиль;

S_Q3-1 - то же для верхнего квартиля.

 

Ответы, попавшие за пределы квартилей, отбрасываются как экстремальные. Ответы же, «вписавшиеся» в межквартильное расстояние, считаются достаточно согласованными. Для проверки степени их согласованности исчисляется дисперсия ответов по следующей формуле:

(2.8)

т.е. средняя квадратов значений ответов минус квадрат средней из ответов:

 

Чем ближе степень колебания дисперсий ответов экспертов к нулю, тем выше репрезентативность согласованной оценки. После выявления преобладающих суждений экспертов проводится работа по сближению их точек зрения. На втором этапе всех экспертов, оценки которых находятся в границах межквартильного расстояния (от Q₁ до Q₃) знакомят с обоснованиями причин расхождений мнений тех экспертов, оценки которых вышли за пределы межквартильного расстояния. Каждому эксперту, оставшемуся в группе, предоставляется право изменить свою оценку. После этого вся процедура повторяется заново, в случае необходимости - несколько раз, пока оценки не сблизятся настолько, что средняя из них сможет считаться достаточно надежной, а показатели разброса мнений (их вариация) не снизятся до минимума. Перед очередным туром в анкету могут быть внесены некоторые изменения с учетом ответов отдельных специалистов. На практике часто эту процедуру проводят упрощенно и в случае малого разброса мнений ограничивпаются одним туром анкетирования. Показатель степени надежности эксперта исчисляется по формуле:

 

 

где n - общее число оценок, произведенных данным экспертом;

N - общее число правильных оценок.

 

В случае необходимости процедура повторятся еще несколько раз, пока не добивается такое сближение оценок, чтобы дисперсия соответствовала минимальному значению. Только после этого исчисляется средняя величина оценок, которая и считается экспертной оценкой.