Метод экспертных оценок

Основная идея и сущность метода заключается в построении рациональной процедуры интуи­тивно-логического мышления человека в сочетании с количественными методами оценки и обработки полученных результатов. При этом обобщенное мнение экспертов, основанное на профессиональном, научном или практическом знании, принимается как решение проблемы.

Организация процедуры экспертной оценки включает:

- формулирование целей экспертизы;

- разработка анкет опроса экспертов;

- формирование группы специалистов-аналитиков по исследуемой проблеме;

- формирование репрезентативной экспертной группы;

- подготовка и проведение экспертизы;

- статистическая обработка полученных результатов опроса экспертов;

- выработка рекомендаций.

При формировании экспертной группы основной проблемой является количественный и качест­венный состав группы. Отбор экспертов начинается с определения вопросов, которые охватывают ре­шение данной проблемы. После этого составляются списки специалистов, компетентных в данной об­ласти. Достоверность экспертной оценки зависит от многих факторов. К ним относят: а) общее коли­чество привлекаемых специалистов; б) удельный вес специалистов разного профиля; в) характеристи­ка специалистов (компетентность, креативность, отношение к экспертизе, конформизм, аналитичность и широта мышления, конструктивизм мышления, коллективизм, самокритичность и т. д.). Оптималь­ный состав группы, позволяющий получить достоверную оценку, определить сложно. Существует подход, в соответствии с которым устанавливается максимальная и минимальная численность группы.

При формировании размеров группы исходят из двух критериев: а) высокого уровня средней компетентности группы, б) стабилизации средней оценки прогнозируемой характеристики.

Группа формируется путем последовательного исключения малокомпетентных экспертов, осно­вываясь на заданной величине допустимого отклонения значения компетентности эксперта от макси­мального. Компетентность экспертов может определяться путем самооценки экспертов по данной проблеме или на основе опроса специалистов, которые указывают наиболее квалифицированных про­фессионалов. Качественные характеристики экспертов выявляются на основе подробного статистиче­ского анализа экспертных заключений для того, чтобы устранить слишком большие расхождения мне­ний специалистов.

Для оценки степени согласованности мнений экспертов может использоваться дисперсия оце­нок, среднеквадратичное отклонение оценок, а на этой основе - коэффициент вариации оценок. Чем меньше значение этого коэффициента, тем выше согласованность мнений экспертов.

Процедура проведения экспертизы может быть различной. Обычно она включает три этапа. На первом этапе эксперты привлекаются для уточнения формализованной модели объекта прогноза, формулировки вопросов для опроса. Второй этап - осуществление экспертизы. Третий - предвари­тельная обработка полученных результатов, привлечение экспертов для консультаций по недостающей информации и окончательное формирование прогноза, обработка результатов экспертных оценок.

В зависимости от организации экспертизы и формы опроса экспертов различают индивидуаль­ные и коллективные методы экспертных оценок. Независимо от метода экспертизы существуют опре­деленные правила проведения опросов экспертов:

- независимость экспертов друг от друга при формулировании своих оценок по каждому собы­тию;

- удобство работы экспертов с анкетами;

- предоставление каждому эксперту достаточного времени, чтобы обдумать ответ;

- гарантия анонимности ответа при желании эксперта;

- транзитивность экспертных оценок;

- аддитивность экспертных оценок, т. е. возможность осуществлять операции над ними при об­работке результатов;

- предоставление возможности последующего коллективного обсуждения полученных результа­тов.

Существуют следующие индивидуальные методы экспертных оценок.

Метод интервью предполагает беседу прогнозиста с экспертом по заранее подготовленной со­вокупности вопросов. Преимущества данного метода в возможности максимального использования индивидуальных способностей эксперта. Но успех зависит от способности эксперта давать заключение по предлагаемым вопросам. Недостатком считается ограниченность эксперта в смежных областях зна­ний, в результате чего данный метод не применим при прогнозировании сложных социально-экономических проблем.

Аналитический метод предполагает логический анализ экспертом какой-либо ситуации. Экс­перт самостоятельно работает над анализом тенденций, оценкой состояния проблемы и путей ее раз­вития на основе имеющейся информации. Выводы оформляются в виде докладной записки. Данный метод в наибольшей степени использует индивидуальные способности эксперта, глубокое осмысление изучаемой проблемы, но имеет сложность в применении для прогноза сложных систем из-за ограни­ченности знаний одного эксперта.

Метод написания сценария основан на определении логики процесса или явления при различ­ных условиях. Это метод, с помощью которого эксперт пытается установить логическую последова­тельность событий на основе имеющейся информации о прогнозируемом объекте, чтобы показать, как, исходя из существующей ситуации, может развертываться будущее состояние. В сценарии отражают­ся возможные варианты развития событий, необходимая последовательность решения задач, возможные препятствия и проблемы. При написании сценария может принимать участие группа специали­стов. Сценарий в готовом виде может подвергаться анализу.

Коллективные методы экспертных оценок основываются на выявлении коллективного мнения экспертов о перспективах развития объекта прогнозирования. Эта группа методов основана на том, что при коллективном мышлении выше точность результатов и возможно появление новых подходов к решению проблемы.

Выделяют следующие коллективные методы.

Метод комиссии - обсуждение проблемы за «круглым столом». При использовании данного ме­тода следует придерживаться следующих правил: а) формулировать проблему в основных терминах, выделив единственный центральный пункт; б) расчленять сложную проблему на четко выраженные узкие задачи; в) не объявлять ложной и не прекращать исследовать ни одну идею; г) предоставлять слово прежде всего тем, у кого идея возникла по ассоциации с предыдущим высказыванием; д) не оценивать заранее значение идей, подхватывать идею любого рода, даже если ее существование ка­жется в данное время сомнительной; е) оказывать поддержку и поощрение всем, чтобы освободить участников от скованности.

Метод коллективной генерации идей (мозговой атаки) состоит в использовании специалистов при решении проблемной ситуации, реализующей вначале генерацию идеи, а затем деструктурирова-ние (разрушение) этих идей с формированием контридей и выработки согласованной точки зрения. Метод предполагает ряд этапов: а) формирование группы экспертов в 10-15 человек; б) составление проблемной записки; в) генерация идей (рекомендуемая продолжительность от 20 минут до 1 часа), в течение которой запрещается критика любой предложенной идеи; г) систематизация идей; д) деструк-турирование идей; е) оценка критических замечаний и составление списка практически реализуемых идей.

Метод «635» - это одна из разновидностей метода мозговой атаки. Принимает участие 6 экспер­тов, каждый из которых должен выдвинуть 3 идеи в течение 5 минут. Лист, на котором каждый экс­перт записывает идеи, движется по кругу. В результате этого каждый эксперт запишет 18 идей на шес­ти листах в течение тридцати минут. В общей сложности получается 108 идей, которые затем обоб­щаются и рассматриваются с целью выбора практически реализуемых предложений.

Недостатками коллективных методов является возможность в ходе обсуждения дезинформации; давление на группу активного меньшинства, ведущего или авторитета; достижение согласия в группе; заинтересованность в определенном результате; предубеждения.

Чтобы устранить эти недостатки, используется метод Делъфи, при котором делается попытка устранить вмешательство психологических факторов, способных снизить ценность обсуждения. Осо­бенностями данного метода являются:

- анонимность экспертов, т. к. существует полный отказ от личных контактов экспертов и кол­лективных обсуждений;

- многотуровая процедура опроса экспертов;

- обеспечение экспертов информацией, включая обмен информацией после каждого тура опроса при сохранении анонимности оценок, аргументации и критики;

-обоснование экспертами своих оценок и суждений, отличающихся от мнения большинства;

- обоснование ответов экспертов по запросу организаторов исследования.

В настоящее время данный метод применяется по широкому спектру проблем: сбор текущей и прошлой информации, которой вообще нет или она крайне недостоверна; проверка существенности событий прошлого; оценка возможных вариантов распределения бюджетных средств; принятие реше­ний в сфере городского и регионального планирования; формирование структуры моделей и т. д.

Дерево целей предполагает выделение нескольких структурных или иерархических уровней. Ка­ждая цель верхнего уровня должна быть представлена в виде подцелей следующего уровня таким об­разом, чтобы объединение понятий подцелей полностью определяло понятие исходной цели.

Метод морфологического анализа предполагает выбор наиболее приемлемого решения пробле­мы из числа возможных. Его целесообразно использовать при прогнозировании фундаментальных ис­следований. Метод морфологического анализа включает ряд приемов, предполагающих систематизи­рованное рассмотрение характеристик объекта. Исследование проводится по методу «морфологиче­ского ящика», который строится в виде дерева целей или матрицы, в клетки которой вписаны соответ­ствующие параметры. Последовательное соединение параметра первого уровня с одним из параметров последующих уровней представляет собой возможное решение проблемы. Общее количество возмож­ных решений равно произведению числа всех параметров, представленных в «ящике», взятых по стро­кам. Путем перестановок и различных сочетаний можно выработать вероятностные характеристики объектов.