Тема билета: Технология экспертного прогнозирования результатов управленческих решений.

Вопрос и задание:

Ø Какова структура описания каждого этапа технологии?;

1. субъекты

2. цели

3. описание этапа

4. задачи

5. примечание

Ø Перечислить системно-образующие компоненты технологии экспертного прогнозирования.

Этапы

22. Тема билета: Простейшие виды экспертных оценок.сидельников стр.161, 310 (См. конспект лекций либо стр. 114-135 монографии [Сидельников Ю. В. Системный анализ технологии экспертного прогнозирования,]).

Вопрос:

Ø Сколько простейших видов экспертных оценок?

1. Вербальные оценки (1.0)

В том случае, когда в качестве экспертных оценок допускаются слова или предложения метаязыка экспертизы, довольно близкого к естественному языку, будем говорить о вербальных оценках. Окончательные суждения и слова-квантификаторы - примеры таких оценок. В работе [189] под метаязыком экспертизы понимаются те специальные значения, которые получают слова естественного языка, если они выступают в процедуре экспертизы в следующих качествах (указываются главные):

1.Наименование признаков, по которым надлежит проводить оценку объектов. В качестве примеров можно привести суждение «цвет зеленый» или заключение врача-эксперта «опухоль доброкачественна».

2. Наименование отношений (слова квантификаторы), устанавливаемых на множестве рассматриваемых объектов, типа «лучше», «более выражен», «в значительной степени», «более похожи на..., чем...» и т.д. Примером использования слов-квантификаторов могло бы служить следующее утверждение эксперта: «В прогнозный период темпы роста ВВП США возрастут незначительно».

3. Добавим к этому столь естественные экспертные утверждения, как: «да», «не знаю», «если..., то...»; «или..., или..., «и любое логическое отрицание.

Примеры использования экспертных оценок вида (1,0) мы можем найти при рассмотрении первых вариантов экспертных систем [301]. Представление знаний в этих экспертных системах осуществляется, в частности, в виде записи, утверждений типа «если..., то...».

В исследовании вышеуказанного вида экспертных оценок, на наш взгляд, будет полезен лингвистический подход, в соответствии с которым в качестве значений переменных допускаются не только числа, но и слова или предложения естественного или искусственного языка. Лингвистическое представление экспертных оценок, по мнению В.Б. Кузьмина [74], обладает «тремя неоспоримыми достоинствами:

• оно наиболее близко к естественным средствам выражения оценочных суждений - родному языку и профессиональной терминологии экспертов и поэтому:

• позволяет достаточно точно и однозначно выражать оценку;

• в отличие от оценочных высказываний на естественном языке лингвистические представления поддаются математической обработке».

Понятие лингвистической переменной, введенное Л. Заде [322] и базирующееся на теории нечетких множеств, в настоящее время исследуется во многих работах [59, 265]. Исследования нечетких отношений, выражаемых словами-квантификаторами, Чаще всего связывают с теорией нечетких множеств, хотя для исследования таких оценок возможен и иной путь, описанный в работе [196].

2. Группировки (2.0)

Этот вид экспертных оценок является совокупностью непересекающихся классов, индексированных элементами некоторого множества значений соответствующего признака.

Как процедура она состоит в «указании экспертом совокупности непересекающихся классов, индексированных элементами некоторого множества значений соответствующего признака» [97].

Теоретико-множественное понятие разбиения, хотя и близко к понятию группировки, но не совпадает с ним потому, что некоторые классы группировки могут оказаться пустыми, к тому же в разбиении не указано множество индексов. В том случае, когда задачей экспертов является разбиение множества, мы говорим, что получаем экспертную классификацию. Среди классификаций иногда рассматривают так называемую «свободную» классификацию, когда число классов, на которые эксперт может разбить множество, заранее не задано [180].

По-видимому, целесообразно рассмотреть случай, когда подмножества, на которые разбиваются множества, имеют непустые пересечения. В этом случае мы будем использовать термин «покрытие» [207]. В качестве математического аппарата при исследовании покрытий, по-видимому, будет полезна теория нечетких множеств. В экспертных оценках нечеткие множества рассматриваются в работе М. Пинаса [280]. Близкие виды экспертных оценок: группировка, классификация - рассматриваются в работах Б.Г. Миркина [97], Ю.Н. Тюрина [180], А.В. Маамяги [88]. Общее для этих видов экспертных оценок - то, что эксперты задают на множестве отношение эквивалентности.

В психологических исследованиях Л.С. Выгодского, Ж. Пиаже, Б. Инельдера, Н.З. Дьяченко, Р.М. Фрумкиной, А.В. Михеева, А.К. Звонкина и многих других изучались структуры и закономерности формирования и протекания процессов классификации различного вида.

Ряд зарубежных обзоров на эту тему выполнены П. Фресс, Ж. Пиаже [188] и Ж. Камбоном [229].

Экспериментальные исследования процессов классификации с целью выделения ведущих факторов и дальнейшего количественного учета их влияния рассмотрены в работе Ю.Д. Бабаевой и Ю.Н. Тюрина [11].

3. Парные сравнения (3.0)

Парное сравнение ― это пара объектов, для элементов которого заданы либо: отношения предпочтения или эквивалентности; либо указано, что они не сравнимы.

Как процедура она состоит в указании экспертом более предпочтительного объекта в каждой предъявленной паре объектов (иногда разрешается также заявлять, что они равноценны или несравнимы). Для того чтобы отличать их, название «парные сравнения» будем относить лишь к виду оценок, а процедуру сбора данных или метода, позволяющую получать выбранный вид экспертной оценки, назовем попарным сравнением.

Приведем пример парного сравнения. Пусть эксперту предложили сопоставить два возможных варианта ответа: A1 - относительная цена на нефть имеет тенденцию к возрастанию; A2 - относительная цена на нефть имеет тенденцию к стабильности. В случае если эксперт указал, что A1 предпочтительнее («вероятнее»), чем A2 - мы имеем парное сравнение.

В литературе по экспертным оценкам термин «парные сравнения» относят как к процедуре сбора данных, так и к виду экспертных оценок.

Методы анализа и обработки парных сравнений подробно описаны в монографии [243]. Процедура попарных сравнений впервые предложена в работе [246] для оценки сравнительной предпочтительности альтернатив, а затем получила развитие в работах [177, 225, 312]. Процедура попарных сравнений становится практически непригодной при увеличении числа объектов (N) из-за быстрого роста числа единичных парных сравнений - (N(N-1)/2).

4. Множественные сравнения (4.0)

Этот вид оценок занимает промежуточное положение между оценками, полученными методами попарных сравнений, и ранжированием. И отличается от оценок, полученных методом попарных сравнений, тем, что эксперту последовательно предъявляются не пары, а тройки, четверки,... (r)-альтернатив (где r - количество предъявленных из общего числа альтернатив-(n), r<n). Эксперт их упорядочивает по важности (значимости) либо указывает, что все они, либо та или иная часть из них равноценна или несравнима.

Оценки, полученные методом множественных сравнений, изучались, например, в работах [269, 275]. Интересное экспериментальное и теоретическое исследование оценок, полученных методом множественных сравнений, содержится в работе [182]. Наиболее известными и разработанными среди оценок этого вида являются оценки в виде упорядоченных троек. Метод тройных сравнений подробно рассмотрен в работах [173, 195, 231-234].

5. Ранжировки (5.0)

Ранжировку обычно определяют как упорядоченный набор всех альтернатив (объектов), представленных к рассмотрению [83].

В процедуре ранжирования все предъявленные альтернативы (объекты) упорядочиваются в соответствии с убыванием (возрастанием) их предпочтительности. При этом допускается указание на равноценность некоторых рядом стоящих объектов. Номер, который при этом получает каждый объект, называется его рангом. Обычно, учитывая

трудности связанные с ограниченностью непосредственной (оперативной) памяти человека, эксперту предъявляется для ранжирования не более 10 альтернатив. Методы изучения ранжировок описаны в литературе по множественным сравнениям.

6. Векторы предпочтений (6.0)

«Вектором предпочтения П={П1,П2,..., Пn}, заданного на данном фиксированном наборе альтернатив (или объектов) А = {A1,A2,...,An}, назовем вектор П, i-ая компонента которого - Пi - определяется как количество альтернатив, превосходящих данную из всего набора альтернатив А» [83].

При этом эксперт не обязательно должен указывать, какие именно альтернативы являются более предпочтительными. Важно, Что каждая альтернатива предъявляется лишь один раз. Впервые этот вид оценок был рассмотрен в работе Б.Г. Литвака [83]. С помощью векторов предпочтения может быть представлена информация, получаемая от эксперта при использовании метода попарных сравнений, множественных сравнений и ранжирований. Так, например, если значения n-компонент вектора предпочтений различны и среди них встречаются 0, 1,..., n-1, то экспертом указано строгое ранжирование альтернатив. Однако можно привести примеры векторов предпочтения, не являющихся ранжировкой [82].

7. Балльные оценки (7.0)

Этот вид оценки - промежуточный между ранжировками и количественными оценками. В том случае, когда эксперт придает параметру некоторое значение (градацию), характеризующее объект, можно говорить о баллах. Обобщая опыт применения балльных оценок с точки зрения экспертных процедур, рассмотрим следующие определяющие признаки таких оценок:

• существуют некоторые независимые от эксперта объективные критерии присвоения баллов;

• число градаций сравнительно невелико;

• каждый объект оценивается независимо от остальных в шкале, которая не слабее, чем порядковая, и не сильнее, чем интервальная.

(Рассматривая отношение порядка на множестве шкал, мы руководствуемся работой В.С. Высоцкого [39].)

Приведенное определение баллов, хотя и удобно для данной классификации, исключает случаи балльного оценивания при отсутствии общепринятых эталонов или, когда наличие объективного критерия сомнительно. Балльные оценки рассматриваются в работах [95, 116, 209]. Хотя теория балльных оценок слабо разработана, они Часто используются на практике [116, 209].

8. Интервальные оценки (8.0)

Этот вид экспертных оценок широко распространен. По сути, интервальная оценка характеризует не единственно-возможную ситуацию, а их множественность. Одним из определяющих свойств интервальной оценки является то, Что на множестве задано тернарное отношение «МЕЖДУ».

Определения, аксиоматика, теоремы и свойства этого отношения рассмотрены в работах [19, 122].

В последние годы широкое распространение, особенно в вычислительной математике, получили методы интервального анализа. Это сравнительно новая дисциплина, но литература по интервальному анализу на 1981 год насчитывала, по оценке Ю.И. Шокина, более восьмисот наименований [205]. Уже в 80-е годы наметились пути использования интервального анализа в экономике и при решении задач управления [287, 288]. Рассматривается интервальный анализ с использованием вероятностного подхода [263].

9. Точечные оценки (9.0)

Методы обработки и анализа точечных экспертных оценок достаточно развиты и хорошо известны большинству исследователей. Способы получения количественных оценок объектов являются также достаточно разнообразными. В ряде областей деятельности, в частности при прогнозировании, точечная оценка или оценки, включающие точечную, иногда необходимы, и хотя строгих определений в литературе нет, под этим понятием нередко понимают оценку, выраженную одним действительным числом. Решить вопрос о характере оценки - точечная она, многоточечная или интервальная - необходимо, например, в тех случаях, когда нам надо проводить различные операции с экспертными оценками. От вида оценок зависит, допустима ли та или иная операция над этими оценками. Г. Тейл для решения этого вопроса требует, чтобы дополнительно к прогнозной экспертной оценке эксперт оценил и вероятность ее осуществления, и если она менее 0,5, то это точечный прогноз, в противном случае - интервальный [175]. Для аналогичных непрогнозных оценок можно требовать оценку степени уверенности эксперта в их правильности и в дальнейшем действовать по той же схеме.

10. Многоточечные оценки (10.0)

Конечную совокупность точечных экспертных оценок, взаимосвязанных как единое целое, можно определить как многоточечную оценку.

Распределение ограниченных ресурсов между конечным числом потребителей, оценки значений вероятностей группы событий - все это многоточечные оценки.

Часто взаимосвязь оценок проявляется через нормировку или ограничения. Рассмотрим сначала среди многоточечных оценок двухточечные, которые следует отличать от интервальных. Двухточечными оценками являются: распределение ресурсов между двумя объектами, оценивание соотношений между двумя альтернативами и т.д. Имеются экспериментальные исследования, подтверждающие достаточно высокую точность результатов при использовании двухточечных оценок даже при наличии нормировки. В первую очередь, это относится к экспериментам по оцениваю вероятности двух взаимоисключаемых событий. Что касается условий нормировки, то экспериментальные исследования Эрлика показали, что оценка соотношений для двух альтернатив хорошо удовлетворяет требованию нормировки [245]. Среди многоточечных оценок необходимо отметить трехточечные. В прогнозных исследованиях их используют часто. Необходимость более сложных оценок, нежели точечные или интервальные, назрела давно. Трехточечные оценки используются, например, в некоторых видах сетевых моделей типа ПЕРТ [171], в модификации Дельфийской процедуры, такой, как «Дельфи II» [228] или методе SEER [223]. Трехточечные оценки рассматриваются в работе Ю.В. Киселева [68], где используются следующие допущения на характер распределения: пусть неизвестная количественная характеристика как случайная величина имеет непрерывную унимодальную ограниченную по абсциссе функцию распределения. Обычно в качестве математической модели выбирают бета-распределение. Плотность вероятности бетараспределения выражается, как известно, следующей формулой: f(t)=(t-a)p-1 · (b-t)q-1 /{(b-a)p+q-1 ·B(p,q)}, при a<t<b.

f(t)=0, при t=a, или t=b,

где B(p,q) - бета-функция, p, q, a, b - параметры распределения; при этом «a» и «b» определяют соответственно левую и правую границу распределения, p,q>0. Поскольку эксперт оценивает только три точки, а бетараспределение 4-х параметрическое, имеется свобода в выборе четвертого параметра. Если предположить, как это сделано в работе Ю.В. Киселева [68], что дисперсия определяется только квадратом размаха и пропорциональна ему: D=k(b-a) то, выбирая по тем или иным соображениям значение коэффициента k, мы можем получить значения математического ожидания - М, моды - МО и дисперсии - D.

Так, в случае, когда k=0 - получаем дельта-распределение (М=МО, D=0).

При k=1/12 получаем равномерное распределение M=(a+b)/2, D=(ba)/12.

При k=1/36 получаем распределение, используемое в системе ПЕРТ M=(a+4MO+b)/6; D=(b-a)/36 и т.д.

В одной из модификаций метода «Дельфи», описанной в работе Дж. Мартино и называемой «множественной датировкой», трехточечные экспертные оценки используются следующим образом: экспертов при прогнозировании сроков свершения того или иного события просят назвать три даты: «вряд ли возможную», «равновозможную или 50%ную» и «фактически достоверную». В другом варианте экспертов просят указать три даты, для которых вероятность того, что истинный ответ окажется меньше названного, равен соответственно 10%, 50% и 90% (или некоторым другим значениям вероятности наступления событий) [90]. Статистическую характеристику группового ответа получают, взяв медиану (или другую среднюю) каждого из трех рядов дат. При сравнении оценок «равновероятных» дат (50%-ная вероятность события) и дат, вероятность наступления которых считается равной 90%, можно обнаружить очень тесную зависимость между ними, что, возможно, свидетельствует о скрытой «психологической связи» этих двух оценок. Отношение медиан, как было установлено экспериментальным путем в работе [257], при этом МE(0,9)/ME(0,5)=1,8, а соответствующие отношения квартилей составляют 1,6 для нижних квартилей и 2,0 для верхних.

При использовании многоточечных оценок часто требуется нормировка как принцип, определяющий взаимосвязь. Так, например, в методе «решающих матриц Поспелова» эксперт должен указать относительные веса A 1,A2,...,An направлений исследований, удовлетворяющие условию нормировки: SAi=100 [127]. В анализе на проблемных сетях, предложенном С.А. Петровским, эксперт должен дать оценки вероятности для нескольких взаимно-несовместных событий, образующих полную группу [9,10]. Здесь также фигурируют условия нормировки. Конечно, нормировка представляет собой известную трудность, но она может быть преодолена. Эксперименты свидетельствуют, что оценки вероятности для нескольких альтернатив не всегда равны в сумме единице, если только от испытуемого специально не требовать соблюдения этого правила [215]. По мнению Шеридана и Ферралла, всегда была возможна некоторая приемлемая модификация значений вероятностей, обеспечивающая равенство их суммы единице [197]. Эксперименты, проведенные нами совместно с С.А. Петровским, подтверждают это [118,119].

11. Функциональные оценки (11.0)

Оценки этого вида являются некоторым естественным продолжением многоточечных. В том случае, когда эксперт в качестве оценки дает некоторую действительную функцию, f: XfiR, мы говорим о функциональной оценке. Иногда области определения - Х и даже значения f(X) R фактически заданы, и эксперт дает оценку в виде закона соответствия. Имеются попытки разработки прогнозов, когда входная информация вводится в виде функций распределения вероятности с тем, чтобы информация на выходе также приняла форму распределения. Но такое прогнозирование пока не получает достаточного развития и находится еще на ранней экспериментальной стадии. Разработка прогнозирования с использованием оценок такого вида, несомненно, представляет, по мнению Э. Янча, «одну из важнейших проблем в развитии прогностических методов» [213].

Представляет интерес разновидность функциональных оценок, когда они даются в виде графиков или так называемых «экспертных» кривых. Напомним, что графиком действительной функции f:XfiR называется подмножество произведения X*R, состоящее из точек вида (x,f(x)), где x˛X. Пусть, например, эксперт при ответе на вопрос изображает зависимость между двумя переменными в виде некоторой ломаной линии. В неопубликованной работе Е.М. Четыркина и Е.З. Демиденко предложена экспертная процедура, при которой эксперт выбирает один из трех видов распределения, изображенных графически: а) треугольное, б) трапециевидное, в) равномерное. Кривые, построенные экспертами, были рассмотрены в методе главных точек еще в 1969 г. [132]. По-видимому, впервые классификация «экспертных» кривых предложена в работе [32]. Наглядность, удобство работы, возможность интерполирования и достаточно простые способы согласования мнений в группе экспертов - все это позволяет надеяться на успешное развитие этого вида экспертных оценок. Способы построения и описания экспертных кривых базируются на использовании представлений об их характерных элементах, существенные в условиях задачи, рассматриваемой в экспертизе. Способы статистической обработки данных при построении обобщенных экспертных кривых и для записи их всевозможных преобразований рассмотрены лишь в небольшом числе работ и развиты еще слабо [33].

Комбинации оценок первого рода.

Качество решений, принимаемых на основе экспертных оценок, может быть повышено путем использования комбинации простейших видов экспертных оценок. При комбинировании оценок используются достаточно развитые математические методы. Для примера рассмотрим комбинации двух различных простейших видов экспертных оценок и двух одинаковых.

Среди известных комбинаций простейших видов экспертных оценок - сортировка. О сортировке говорят тогда, когда каждый из объектов независимо от других эксперт относит к одному из m-упорядоченных классов. Сортировка - частный случай именованной классификации, в которой сорта занумерованы последовательными целыми числами. Этот вид экспертных оценок рассмотрен в работе Ю.Н. Тюрина [180] и в ряде других работ. Сортировка состоит из группировки и ранжировки.

Можно рассмотреть комбинацию двух одинаковых простейших видов экспертных оценок. Так, представляет интерес комбинация экспертных оценок, когда наряду с ранжированием объектов по некоторому показателю эксперт рассматривает разности оценок объектов и ранжирует эти разности. Экспертные оценки, в которых ранжировка сочетается с разностями оценок объектов, рассмотрены в ряде работ в связи с приближенно-количественными измерениями [95, 214]. В дальнейшем ранжирование разностей оценок было названо ранжированием второго порядка [95].

Под экспертными оценками второго рода мы понимаем упорядоченные пары экспертных оценок следующего вида: первая компонента пары - экспертная оценка первого рода, а вторая компонента - степень уверенности эксперта в этой оценке первого рода, выраженная в той или иной форме.

 

23. Тема билета: Способы опроса экспертов. Сидельников стр. 225 (См. конспект лекций либо стр. 162 монографии [Сидельников Ю. В. Системный анализ технологии экспертного прогнозирования,]).

Опросы как исследовательский прием выявления знаний и мнений людей прошли более чем трехсотлетний путь развития, начиная свой отсчет с середины XVII века в Англии, Франции и Германии. Так что литературы на эту тему более чем достаточно. Приведем примеры трех основных способов опроса, которые обычно выделяют в экспертном прогнозировании.

Первый способ опроса экспертов ― анкетирование.

Эксперт отвечает на заранее подготовленные для него конкретные вопросы.

Перед проведением анкетного опроса желательна «обкатка» подготавливаемых вопросов на небольшом количестве специалистов, с тем, чтобы избежать неграмотной постановки вопросов и возможной двусмысленности их понимания.

При проведении опроса необходимо создать такие условия для экспертов, которые стимулировали бы тщательное и продуманное заполнение анкеты. Время, отведенное на ответы на каждый конкретный вопрос анкеты, с одной стороны, должно быть не чрезмерно малым, с другой - не слишком большим.

Поллак экспериментально показал, что, когда «испытуемый должен давать абсолютные оценки, количество передаваемой информации практически не зависит от времени предъявления стимула, если оно не является чрезмерно малым». (Цит. по [272].)

Анкетный опрос иногда проводят на специальном собрании группы экспертов, но в большинстве случаев экспертам предлагают заполнить анкеты в процессе индивидуальной работы (заочный опрос). Для проведения заочного опроса необходимо подготовить анкету и пояснительную записку (инструкцию по заполнению анкеты). Заочный опрос рекомендуется проводить при наличии в группе экспертов разной авторитетности или с разным уровнем служебного положения.

Прогнозист (аналитик) должен тщательно продумать как разработку самих вопросов анкеты, так и ее структуру.

Анкеты необходимо составлять с учетом требований к ним, рассмотренных в ряде работ [45, 275]. Так, например, сходные вопросы необходимо располагать в различных концах достаточно больших анкет для избежания так называемого «эффекта эха». По возможности желательно подготовить инструкции по заполнению анкеты, даже если анкетирование проходит с участием аналитика или организатора экспертизы. Одновременно с вручением анкеты и инструкции по ее заполнению желательно проводить устный инструктаж, в рамках которого проводить «пилотажный» эксперимент на вопросах того же типа, что были предложены в анкете. Подобная «репетиция» иногда позволяет избежать многих ошибок, связанных с недопониманием процедуры заполнения анкеты. По сути, это элемент обучения эксперта.

Конечно, вопросы подготовки экспертов следует ставить гораздо шире. Для систематического получения качественных прогнозов необходимо организовывать и проводить на постоянной основе подготовку и переподготовку экспертов. Обучений экспертов может включать: работу с разнообразными методиками и видами экспертных

оценок; учет специфики работы в группе (группа, например, может принять более рискованное решение, чем индивид); ознакомление с возможными недостатками, трудностями и заблуждениями при экспертном прогнозировании.

Необходимо грамотно учитывать:

• порядок следования вопросов;

• вид формулировки вопроса;

• наличие монотонности в вопросах;

• четкость формулировки вопросов;

• влияние типа вопросов.

В настоящее время все шире используется анкетный опрос эксперта посредством «диалога» с персональным компьютером.

 

Второй способ опроса экспертов - интервьюирование - наиболее удобен для организатора, так как не требует ни анкеты, ни карты опроса, ни пояснительной записки. Нужен лишь небольшой план - список вопросов, которые следует задать эксперту. Интервью проводится по этому плану, но на деле всегда с заметными отступлениями от него. Не обязательно в ходе интервью получать оценки по всем подготовленным вопросам. Следует способствовать максимальной обоснованности оценок эксперта при ответах на те вопросы, которые ему наиболее интересны, наиболее глубоко им изучены. Не рекомендуется стремиться получать ответы на те вопросы, в которых эксперт чувствует себя неуверенно или не хочет отвечать по каким-то причинам.

Необходимо отметить, что использование в интервьюировании дополнительных «наводящих» вопросов действует аналогично дополнительной информации и улучшает точность оценок.

Экспериментальное подтверждение этого факта описано в работе [242].

Третий способ опроса - смешанное анкетирование.

В этом случае эксперт заполняет анкету в присутствии организатора опроса, пользуясь его консультацией. Этот способ опроса позволяет значительно сократить время экспертизы, но при этом возрастает риск привнесения организатором собственного суждения в оценки эксперта.

Смешанное анкетирование чаще применяют в итеративных процедурах, нежели при одноразовых опросах. Это объясняется тем, что недостатки способа, которые при однократном опросе могут сильно исказить результаты, значительно смягчаются при проведении нескольких туров. В целом, способ смешанного анкетирования значительно более удобен, чем заочное анкетирование. Его следует применять во всех тех случаях, когда условия позволяют регулярно работать с экспертами.

Рассмотрим список показателей ошибок, описанных в литературе по экспертным оценкам и теории ошибок (для числовых оценок). Е1(х, у) =│x-y│, Е2(х, у)= (х - у)2, Е3(х, у)=│x-y│/(U-L),

Е4(х, у) =│x-y│/D, Е5(х, у)=│x-y│/│y│, Е6(х, у)= │ln x/y│,

Е7(х, у) =│x-y│/│х│, где х, у, L,U ˛ R, х - экспертная оценка, у - истинное значение, L и U - нижняя и верхняя граница шкалы, предъявленной эксперту, D = max{U-у,у-L}. (L<U) Вышеуказанные семь вариантов являются представителями показателей ошибок для наиболее простого случая, когда экспертная оценка является числом. Приведем примеры когда показатели ошибок, выражены в форме векторов: En1 (x, у) = S1 n│хi- уi│ En2(х,у)= S1 n (хi- уi)2, где хi, уi˛R, i =1,…,n.

 

24. Тема билета: Способы формирования экспертных групп. Сидельников стр. 217 (См. конспект лекций либо стр. 157 монографии [Сидельников Ю. В. Системный анализ технологии экспертного прогнозирования]).

При формировании группы экспертов необходимо четко понимать, что мы подразумеваем под группой. И поэтому необходимо использовать все наработки касающиеся формированию группы, будь то проектная, управленческая команда или же другие ее разновидности. При подборе кандидатов в группу экспертов, необходимо также учитывать их социальные и психологические характеристики. Так, например, если в группе экспертов будет происходить непосредственное информационное взаимодействие, то необходимо рассмотреть их совместимость.

При формировании группы выбор из узких специалистов и «универсалов» чаще всего делается в пользу первых. Экспериментальные исследования свидетельствуют, что в общем случае это неверно. Так же считают известные зарубежные и российские специалисты в области методологии и методик экспертного прогнозирования и экспертизы, - О. Хелмер, Т. Гордон, М.В. Шнейдерман. На наш взгляд, наилучшее соотношение в группе экспертов между узкими специалистами и «универсалистами» зависит, прежде всего, от специфики объекта прогнозирования и задаваемых ограничений.

Получив набор характеристик и параметров, на основе которых Организатор и/или ЛПР отбирают специалиста в группу экспертов, необходимо использовать приемы и методы теории многокритериального анализа, изложенного в работах О.И. Ларичева [76,77], а также В.В. Подиновского и В.Д. Ногина [123].

Это, конечно, не означает, что делать прогнозы силами одного лишь эксперта нельзя: в ряде ситуаций можно и нужно прогнозировать именно таким образом. Когда и в какой ситуации использовать лишь одного эксперта, зависит, по крайней мере, от уровня компетентности привлекаемых кандидатов в эксперты.

Эта проблема является частью более общей, о которой хорошо сказал Б.Г. Литвак [84]: «Несмотря на то, что проблема формирования экспертных комиссий, обладающих достаточным уровнем компетентности, обсуждается давно, ее можно считать скорее поставленной, чем решенной».

Существует и другая точка зрения, авторы которой полагают, что эта проблема практически решена на основе аппарата классической теории вероятностей [1].

Способам формирования группы и обоснованного отбора экспертов в группу посвящены работы [152,191]. Перечислим основные способы формирования экспертной группы и попытаемся кратко остановиться на каждом:

• назначения;

• взаимных рекомендаций («снежного кома»);

• последовательных рекомендаций;

• выдвижения коллективами научных подразделений;

• документационный;

• тестирования.

Способ назначения.

Членов экспертной группы назначает ответственное лицо (руководитель научной организации, научного подразделения), по распоряжению которого проводится экспертиза. При этом могут быть достигнуты следующие цели:

• удается составить экспертную группу из специалистов, заинтересованных в проведении экспертизы и склонных к совместной работе в группе (так как руководитель знает личные особенности своих сотрудников);

• руководитель может назначить авторитетных лиц, решение которых не вызовет сильных возражений у других сотрудников.

При применении способа назначения в экспертную группу, как правило, попадают руководители подразделений данной организации, которые имеют право принимать решения в силу служебного положения. Однако вырабатываемое такой экспертной группой решение не обязательно наилучшее. Руководители подразделений часто не имеют времени, а иногда и желания (полагаясь на свою интуицию) решать задачи новыми методами. В ряде случаев эксперт, зная лицо, распоряжением которого назначена экспертная группа, может стремиться выразить своей оценкой не личное суждение, а мнение, соответствующее предполагаемым ожиданиям этого руководителя. Тем не менее, решение, выработанное данной экспертной группой, будет достаточно авторитетным как для руководителя, так и для других лиц, использующих результаты экспертизы.

Способ назначения можно рекомендовать для тех случаев, когда в данной организации впервые проводится групповая экспертиза и необходимо обезопасить ее результаты от возможной критики со стороны лиц, занимающих руководящие должности.

Способ взаимных рекомендаций («снежного кома»).

При этом способе сначала опрашивают одного специалиста по экспертируемой проблеме. Он должен назвать других лиц, которые, по его суждению, должны войти в состав экспертной группы. Эти специалисты тоже называют возможных экспертов, может быть, включая и первого, рекомендовавшего их (соблюдая анонимность рекомендаций) и т.д. Постепенно круг взаимных рекомендаций замыкается - все эксперты названы.

При использовании способа взаимных рекомендаций в экспертную группу попадают специалисты, достаточно успешно и независимо от служебного положения, работающие над данной проблемой. Такая группа может провести наиболее глубокий научный анализ объекта экспертизы. Способ взаимных рекомендаций удобен, когда желательно участие соисполнителей, так как основной разработчик знает тех, кто будет проводить исследования или разработки.

Таким образом, способ взаимных рекомендаций позволяет найти «незримый коллектив», т.е. круг специалистов, уже наладивших плодотворное сотрудничество и способных решать сложные и нестандартные задачи. Однако этот способ иногда приводит к слишком большому численному составу экспертной группы - 200 и более человек. В результате приходится делить ее на подгруппы и применять другие организационные меры. Кроме того, способ взаимных рекомендаций может привести к формированию экспертной группы, состоящей из представителей одной «школы», отражающей лишь одну из точек зрения на проблему.

Поэтому способ взаимных рекомендаций наиболее удобен при анализе очень узких проблем, когда заранее известно, что число потенциальных экспертов невелико.

Способ последовательных рекомендаций.

Один эксперт, являющийся известным специалистом по анализируемой проблеме, называет промежуточные условия, при которых проблема может быть решена (достигнута поставленная цель) и он лично взялся бы за ее решение. После того, как эти условия установлены, эксперт называет лиц, которые могли бы обеспечить достижение промежуточных целей (второго уровня), и определяются эксперты, которые могут обеспечить достижение промежуточных целей второго уровня и т.д.

При этом способе достигается повышенная ответственность эксперта за свои рекомендации, поскольку он не может надеяться, что они будут скорректированы другими членами экспертной группы, а, возможно, будет их даже реализовывать.

Способ последовательных рекомендаций удобен для экспертизы возможностей реализации научных исследований и разработок, решение о выполнении которых уже принято или находится в стадии утверждения.

Выдвижение экспертов коллективами научных подразделений. Выдвижение специалистов в состав экспертной группы может быть проведено коллективами подразделений этой организации путем открытого или тайного голосования. Таким способом могут быть отобраны эксперты, пользующиеся наибольшим доверием за беспристрастность и объективность, независимо от их служебного положения, но не обязательно наиболее квалифицированные.

Этот способ формирования экспертной группы рекомендуется применять в тех случаях, когда решение задачи экспертизы затрагивает интересы или престиж отдельных лиц. Такой задачей является, например, оценка качества выполненных НИР с целью их премирования. Решение экспертной группы, созданной методом выдвижения, учитывает не только объективные показатели значимости, качества и т.п. научных разработок, но и добросовестность авторов, сложность поставленной задачи и другие дополнительные факторы.

 

Документационный способ.

Способ отбора экспертов по их объективным (документационным) характеристикам - должности, ученой степени, числу научных работ и т.п. - позволяет создать экспертную группу, решение которой обладает определенной авторитетностью. Однако с точки зрения руководства организации, в которой выполняется экспертиза, авторитетность такой группы ниже, чем созданной способом назначения. Каких-либо особых преимуществ относительно ож