Экспертные оценки

ПРИМЕНЕНИЕ МЕТОДА ЭКСПЕРТНЫХ ОЦЕНОК

 

§6.1. Метод Дельфы

 

Одним из наиболее эффективных методов анкетирования является метод Дельфы [19, 42]. Основными особенно­стями этого метода являются:

полный отказ от личных контактов экспертов и кол­лективных обсуждений;

многотуровая процедура опроса экспертов;

обеспечение экспертов информацией, включая и об­мен информацией между ними, после каждого тура опроса при сохранении анонимности оценок, аргумента­ции и критики;

обоснование ответов экспертов по запросу организа­торов.

Процедура опроса по методу Дельфы заключается и анкетировании экспертом с помощью опросных листов или внешних устройств ЭВМ в несколько туров с обра­боткой результатов анкетирования в каждом туре и информированием экспертов об этих результатах. На практике обычно ограничиваются четырьмя турами. В первом туре опроса эксперты дают свои ответы без аргументирования. Ответы обрабатываются с целью вы­деления среднего и крайних мнений. Экспертам сообща­ются эти мнения, и проводится второй тур опроса, в ходе которого они пересматривают и при желании изменяют ответы, данные в первом туре. Кроме того, экспер­ты должны объяснить, почему они изменили или не из­менили ответы.

Полученные после второго тура новые средние и крайние мнения, а также вся аргументация с сохране­нием анонимности сообщаются экспертам, и проводится
третий тур опроса, в ходе которого эксперты снова пере­сматривают ответы и аргументируют свое решение. По­следующие туры аналогичны.

Обычно после третьего или четвертого туров опроса ответы экспертов перестают изменяться, что и является сигналом к прекращению опросов. Такая процедура по­зволяет экспертам учесть обстоятельства, которыми они пренебрегали или о которых не были осведомлены. По решению ведущего опрос обоснование могут представ­лять лишь эксперты, ответы которых сильно отличаются от мнения большинства.

Необходимость обоснования мнений вынуждает тех экспертов, у которых нет твердого убеждения в своей правоте, помещать свои ответы вблизи от среднего мне­ния. В то же время эксперты, которые смогли обосновать свои «крамольные» ответы, несмотря, на новую информа­цию, придерживаются своих первоначальных взглядов.

В ряде случаев образуется две группы существенно различных мнений. Это указывает на наличие двух раз­личных подходов, что может объясняться, например, су­ществованием двух научных школ. Дальнейшее прове­дение опроса в таком случае, как правило, лишь под­тверждает создавшееся положение, так как разрешение разных позиций требует глубоких исследований и не может быть результатом экспертизы. Однако и в этом случае опрос полезен, ибо отчетливо выявляет позиции, точки зрения сторон и их аргументацию, что позволяет поставить дальнейшие исследования проблемы.

Организация экспертизы включает основные этапы:

предварительную ориентировку экспертов, включаю­щую формулирование проблемы и инструктаж экспер­тов;

формулирование вопросов экспертам в виде, требую­щем четких количественных и качественных оценок;

разработку способов и порядка информационного обеспечения экспертов, включая обмен аргументацией;

разработку алгоритмов и порядка промежуточной и окончательной обработки результатов.

Пример. Поясним процедуру Дельфы на примере оценки значе­ния некоторой величины N (скажем, стоимости разработки какой-то системы). Пример заимствован из [42].

Первый тур. Каждый эксперт должен дать оценку величины N независимо от других экспертов. Оценки экспертов записываем в порядке возрастания предлагаемых значении. Определяем медиану и квартили и . В результате каждый из четырех интер­валов, образованных точками ,М, на линии значений N, содержит одну четвертую часть оценки. Для 11 экспертов это показано на рис. 6.

 

Рис. 6.

 

Второй тур. Сообщаем экспертам значения , М, и просим их пересмотреть оценки, если названное ими число меньше или больше . При отказе назвать новое число, лежащее в интервале
[ , ]. эксперт должен обосновать свой отказ. Фиксируем эти обос­нования, определяем новое распре­деление значений N, новые значения , М, . Как правило, разброс оценок значения N в результате второго тура оценки уменьшается.

Третий тур. Сообщаем резуль­таты второго тура экспертам, т. е. новые значения , М, и аргу-ментацию «экстремистов», сохраняя анонимность всей информации. Просим экспертов рассмотреть эти новые значения и их обоснования, высказать мнение об аргументированности обоснований и снова пе­ресмотреть оценки. Если пересмотренные оценки выходят за пределы , , то авторы таких оценок должны изложить причины их несо­гласия с аргументами, обосновывающими размещение оценок в этих пределах. Получаем новое распределение.

Четвертый тур. Экспертам сообщают квартили нового распре­деления, контраргументы, высказанные в третьем туре, и просят еще раз пересмотреть оценки. Медиана, получаемая в результате четвертого тура, принимается в качестве оценки величины N, пред­ставляющей точку зрения всего коллектива экспертов.

Сходимость оценок в многотуровой процедуре можно объяснить следующим образом. Среднее значение оценок первого тура опроса всей группы экспертов Мг находится, очевидно, между средним Ми экспертов, изменивших во втором туре свои оценки, и средним Мн экспертов, не изменивших своих оценок. Обычно Мн оказывается ближе к истинному значению оцениваемой величины, чем Ми, и можно предположить, что истинное значение находится где-то в заштрихованной области (рис. 7). Если в процессе итерации Ми будет перемещаться в направлении Мг, то последнее также будет смещаться вправо, т. е. будет происходить уточнение групповой оценки.

Ухудшение конечного результата произойдет с большей вероят­ностью, лишь если не уверенные в своих оценках эксперты изменят их настолько, что Ми окажется правее Мн. Однако такие скачки в изменении оценок маловероятны [9].

Улучшение групповой оценки в результате итераций, таким об­разом, основано на двух предположениях:

ответы экспертов, не изменяющих своих оценок, лежат ближе к истине, чем первоначальные оценки экспертов, не уверенных в своих ответах;

среднее оценок экспертов, изменяющих ответы, движется в ре­зультате этих изменений к среднему оценок «уверенных» экспертов.

Изменение оценок в среднем в сторону их улучшения можно объяснить использованием экспертами информации, не учтенной в первом туре, но учитываемой в последующих, а также получением новой информации, прежде всего от «уверенных» экспертов.

Приведенный пример иллюстрирует лишь возмож­ную процедуру в одной из конкретных наиболее простых применений метода Дельфы. В каждой отдельной экс­пертизе должна быть выработана конкретная программа ее проведения; учитывающая специфику решаемой про­блемы и особенности экспертов. Во многих случаях целесообразны, например, изменения вопросов от тура к туру, индивидуальные обращения к экспертам, пред­варительная обработка их аргументации перед ее пере­дачей другим экспертам.

При дельфийской процедуре наличие в группе мало компетентных экспертов меньше сказывается на точно­сти групповой оценки, чем при анкетировании в один тур за счет получения информации от более компетентных экспертов. Последние в ходе экспертизы также обогаща­ются информацией и могут скорректировать свои оцен­ки. Важно, что в процессе итераций происходит в неяв­ной форме автоматическая оценка компетентности экспертов и взвешивание их мнений с учетом компетент­ности. Это тем более полезно, что определение истинной компетентности экспертов до экспертизы, как показано в третьей главе, не может быть достаточно надежным.

Хорошими примерами использования метода Дельфы могут служить выполнение долгосрочного прогнозирова­ния развития науки и техники корпорацией РЭНД в 1964 г. и ВИНИТИ Академии наук СССР в 1969 г. В экс­перименте корпорации РЭНД опрашивались шесть групп экспертов, составленных из 88 специалистов раз­ных профилей, что позволило построить картину ожида­емых научно-технических достижений до первых десяти­летий следующего века. Результаты прогноза представ­лены на рис. 8 в виде квартилей и медианы времени совершения прогнозируемых событий.

Рассмотрим кратко процедуру ВИНИТИ с опросом 100 экспертов (35 докторов наук и 65 кандидатов) для составления прогноза примерно на 50 лет [4].

Анкетирование различных групп экспертов проводи­лось в шесть этапов, некоторые из которых состояли из нескольких туров. В анкетах первого этапа все эксперты должны были указать, какие научные достижения осу­ществятся, по их мнению, в прогнозируемый период. На основании обработанных ответов экспертов были выде­лены для дальнейшего анализа семь достижений.

На втором этапе опроса группа экспертов проранжировала выделенные проблемы — научные достижения по их важности для научно-технического прогресса в целом, причем каждый эксперт ранжировал лишь три пробле­мы, в которых он был наиболее компетентен. Этот этап проводился в несколько туров с вычислением после каж­дого коэффициента конкордации.

Опросы прекращались при удовлетворительном согла­совании оценок или при отчетливом выявлении двух групп мнений.

На третьем этапе те же эксперты оценивали вероят­ности свершения проранжированных достижений в каж­дый из интервалов времени, на которые был разделен прогнозируемый период. Расчет коэффициента конкор­дации позволил распределить полученные оценки на три категории:

хорошо согласующиеся оценки;

оценки, образующие две группы мнений;

оценки, не входящие в первые две категории.

На четвертом этапе авторов оценок второй и третьей категорий просили обосновать оценки и заменили их средними оценками большинства, если обоснование не шло дальше

 

ссылки на интуицию. При проведении этого тура опасность конформизма очень велика, поэтому экспертам не сообщались оценки большинства. По датам свершения ряда событий согласование вновь не было достигнуто, и для уточнения этих дат был проведен пя­тый этап опроса.

На пятом этапе экспертов, составивших на третьем этапе большинство, просили обосновать свои оценки и опровергнуть мнение меньшинства или же приблизить свои оценки к оценкам последних.

Некоторые эксперты этой группы пересмотрели свои оценки, что показало их подверженность влиянию чу­жих оценок, а отсюда необходимость осторожности при учете их мнения, Все вопросы вновь разделили на вопро­сы, ответы на которые хорошо согласуются, и вопросы, по которым не достигнуто согласование ответов. Ответы на вопросы второй категории в свою очередь делятся на ответы, четко образующие две группы мнений и изменен­ные в пользу меньшинства ответы экспертов, образовав­ших большинство на третьем этапе.

Ответы первой из этих групп не согласовывались, и по ним составлялись два прогноза. Ответы второй груп­пы подвергались последнему — шестому согласованию, перед которым эксперты, давшие эти ответы, были раз­делены на группу большинства и группу меньшинства. Последней группе были разосланы анкеты четвертого этапа. В результате шестого этапа опроса были получе­ны достаточно согласованные оценки, и группа управле­ния приступила к окончательной обработке результатов опроса.

При обработке итоговые значения вероятностей свер­шения прогнозируемых событий сводились в анкету третьего этапа и определялись медианы и квартили групповых оценок. Составленный прогноз утверждал, что до второго десятилетия следующего века можно ожидать свершения практически всех выделенных экспертами научных достижений. Сравнение полученного прогноза с прогнозом корпорации РЭНД показало хорошую схо­димость ряда оценок времени свершения одинаковых событий.

Метод Дельфы обладает определенными недостатка­ми, основными из которых являются большие затраты времени на многотуровую экспертизу, а также полное исключение прямого столкновения мнений экспертов. Длительность процедуры, достигающая при большом числе экспертов многих месяцев, если проводится пись­менное анкетирование, затрудняет работу экспертов и приводит к нестабильности их состава. Необходимость неоднократного пересмотра оценок также вызывает от­рицательную реакцию экспертов, что не может не ска­заться на качестве их работы.

Резкое сокращение времени проведения экспертизы возможно путем создания автоматизированной системы сбора и обработки мнений экспертов и их информационного обеспечения на основе ЭВМ. Каждый-эксперт пере­дает и получает от ЭВМ информацию с помощью телетайпов и дисплеев. ЭВМ с внешними устройствами обес­печивает контакты между экспертами при сохранении анонимности и регулируемости контактов. Программа работы ЭВМ должна обеспечивать представление вопро­сов экспертам, сбор ответов, обработку ответов, запрос аргументации экспертов, выдачу аргументации и другой необходимой экспертам информации, анализ и вычисле­ния, нужные экспертам для составления ответов.

Недостатки описанной процедуры стимулировали раз­работку различных модификаций метода Дельфы, из ко­торых следует упомянуть модификацию, получившую название SEER (System for Event Evaluation and Re­view) — система оценки и обзора события [49].

Метод SEER был разработан и применен для целей прогнозирования техники обработки информации на 15 лет. Метод предусматривает лишь два тура опроса групп экспертов разного состава. В первом туре группа состоит из специалистов фирм — производителей техни­ческих средств и математического обеспечения обработ­ки информации.

Группа экспертов второго тура состоит из специали­стов высшей квалификации в области обработки инфор­мации, работающих в организациях, принимающих ре­шения, и ученых — специалистов в области естественных и технических наук.

В обоих турах в отличие от «классического» метода Дельфы эксперты возвращаются к рассмотрению постав­ленных перед ними вопросов только когда их оценки выпадают за интервалы оценок большинства экспертов.

В первом туре эксперты — представители фирм со­ставляют список —банк данных о вероятных достиже­ниях и новых разработках в отрасли. Эксперты произво­дят также оценки желательности каждого события для потребителя, оценки технических и экономических воз­можностей его совершения и определяют три даты свер­шения события: с минимальной учитываемой вероятно­стью (вероятность 0,2), вероятного свершения (вероят­ность 0,5) и почти достоверного свершения (вероятность 0,9).

Во втором туре вторая группа экспертов производит переоценку и пополнение банка данных, определяет наи­более важные события, их взаимное влияние и уточняет технический прогноз. В результате второго тура получа­ют список потенциально возможных и желательных со­бытий, используемый для разработки перечня кратко-, средне- и долгосрочных целей и выявления событий, обеспечивающих достижение этих целей.

 

Рис.9.

Второй тур имеет, таким образом, нормативный ха­рактер и его результаты могут быть непосредственно использованы для планирования исследований, разрабо­ток новой техники и производства.

Прогноз оформляется в виде графа взаимодействия целей и событий (рис. 9), представляемого потребите­лю — органу, планирующему научно-техническое разви­тие в данной области.

 

Экспертные оценки