ИНТЕГРАЦИЯ МНЕНИЯ СПЕЦИАЛИСТОВ И СУБЪЕКТОВ ПРОИЗВОДСТВЕННЫХ И РЫНОЧНЫХ ПРОЦЕССОВ 1 страница

§18. КЛАССИФИКАЦИЯ МЕТОДОВ

В условиях недостаточной информации при анализе рыночных и производственных ситуаций и принятии решений широко использу­ются методы интеграции мнений квалифицированных специалистов - экспертные оценки, а также опросы и интервью.

Методы получения экспертных оценок подразделяются на две ос­новные группы в зависимости от организации работы экспертов (рис. 34): коллективная и индивидуальная.

К первой группе относятся совещания, т.е. метод открытого обсу­ждения и принятия решений (метод "комиссий"); метод "мозговой атаки", в процессе которой внимание участников концентрируется на выдвижении идей возможных путей решения одной конкретной задачи; метод "суда" воспроизводит правила ведения судебного процесса, причем рассматриваемое решение выступает в качестве "подсудимого", а группы экспертов исполняют роли "прокурора" и "защи­ты".

Рис. 34. Виды наиболее распространенных методов интеграции мнения специалистов

 

Особенности коллективной работы экспертов:

а) при обсуждении вопроса присутствует вся группа;

б) группа комплектуется руководителем, проводящим совещание, как правило, из своих подчиненных и "доверенных" лиц;

в) последовательность выступлений и предоставление слова регламентируется руководителем;

г) подведение итогов и принятие (или непринятие) решения также

осуществляются руководителем.

Преимущества этих методов: оперативность и внешняя демокра­тичность.

Недостатки: давление авторитета руководителя, отсутствие стро­гой процедуры учета мнения экспертов, подведения итогов и принятия решения. Последний недостаток частично может быть компенсирован, если решение принимается тайным голосованием.

При индивидуальной работе экспертов для получения мнения каж­дого эксперта используют интервью в виде свободной беседы или по типу "вопрос-ответ", а также анкетирование, в процессе которого каждый эксперт дает количественные оценки сравниваемым факторам или альтернативам, т.е. ранжирует их. Затем индивидуальные оценки уча­стников экспертных групп суммируются по определённым правилам.

При втором подходе все этапы экспертизы (подбор экспертов, технология получения и обработки их мнений и др.) более или менее регламентированы, эксперты, как правило, подбираются из числа внеш­них специалистов, а организует проведение экспертизы не руководи­тель, а специалист. При этом результаты экспертизы, так же как и при первом методе, носят для руководителя не обязательный, а рекоменда­тельный характер.

§ 19. АПРИОРНОЕ РАНЖИРОВАНИЕ

Наиболее простым является метод априорного ранжирования, ос­нованный на экспертной оценке факторов группой специалистов, компетентных в исследуемой области.

Априори означает, что эксперт оценивает новое явление, факт на основе своего прошлого опыта

Метод априорного ранжирования сводится к следующему:

1. Организацией или специалистом, проводящим экспертизу, на ос­новании анализа литературных данных, обобщения имеющегося опыта, опроса специалистов, дерева систем и т.д. определяется предва­рительный (с определенным резервом, обеспечивающим выбор) перечень факторов, требующих ранжирования.

Рж авило №27. Чёткое виденье факторов (подсистем), подлежащих ранжированию является важнейшей задачей органи­заторов экспертизы и предпосылкой её результа­тивности.

2. Составляется анкета, в которой приводится, желательно в таб­ачной форме, перечень факторов, необходимые пояснения и инструк­ции, примеры заполнения анкет.

3. Осуществляется комплектация и проверка компетентности ^гРУппы экспертов, которые должны быть специалистами в рассмат­риваемых вопросах, но не быть лично заинтересованными в результа- ^Та><- Проверка компетентности экспертов может проводиться с помощью ^Т6СТ0_В, методом самооценки или оценкой эталонных факторов.

При тестировании процент правильных ответов из области, свя­занной с предстоящей оценкой, служит мерой компетентности эксперта.

Метод самооценки состоит в том, что каждый кандидат в эксперты ' с использованием указанной ему шкалы оценивает свои знания ряда вопросов.

Максимальным баллом оценивается вопрос, который, по мне­нию эксперта, он знает лучше других, а минимальным - хуже других. Далее все остальные вопросы оцениваются баллами от максималь­ного до минимального и выводится средняя самооценка данного экс­перта и затем группы экспертов. Этот метод позволяет также при необходимости создать подгруппы для экспертизы конкретных вопро­сов.

При оценке факторов кандидатам в эксперты предлагается про- ранжировать набор факторов, событий или объектов, истинная значи­мость или состояние которых организаторам опроса известны, а экспертам не известны.

4. После формирования группы проводится устный или письмен­ный инструктаж экспертов.

5. Экспертами осуществляется индивидуальная оценка предло­женных факторов с помощью рангов, в процессе которой факторы располагаются в порядке убывания степени их влияния на результи­рующий признак или объект исследования, являющийся целевой функцией. Ранг обозначается следующим образом, где m - услов­ный номер эксперта; к - номер фактора. При этом фактор, имеющий наибольшее влияние, оценивается первым рангом (цифрой 1). Факто­ру, имеющему меньшее значение, приписывается второй ранг (цифра 2) и т.д.

6. Полученные оценки с другими экспертами не обсуждаются и пе­редаются организаторам экспертизы.

7. Организаторами экспертизы проводится обработка результатов экспертного опроса.

8. По результатам экспертизы организацией или специали­стом, проводившим экспертный опрос, для руководства системы разра­батываются предложения по решению конкретных проблем или ре­зультаты передаются без комментариев.

Рассмотрим пример оценки влияния ряда подфакторов, выбран­ных из дерева систем технической эксплуатации автомобилей (ДСТЭА) и характеризующих влияние производственно-технической базы авто­транспортной компании на работоспособность автомобильного пар­ка. Конкретным показателем работоспособности был выбран коэф­фициент технической готовности.

Организаторами экспертизы на основании предварительного анализа условий работы данной фирмы для экспертной оценки были выбраны следующие четыре подфактора (К=4) третьего уровня ДСТЭА (рис. 19):

q²₀₃₁ - обеспеченность производственной базой (площади, цеха, посты и т.д.);

(З²₀₃₂- размер предприятия, характеризуемый инвентарным числом авто­мобилей;

С²озз ^- структура и разномарочность парка автомобилей; С²оз4 ^_ уровень механизации производственных процессов ТО и ремонта.

К независимой экспертизе привлечены 8 экспертов (т=8). Каждый эксперт независимо от других присваивает свои ранги акт каждому фактору и передает результаты организаторам экспертизы. Например, эксперт № 1 (т=1) первый фактор (к=1) оценил рангом ац=2; второй фактор (к=2) 321=3; третий (к=3) Эз1=4; четвертый (к=4) а₄1=1.

Рекомендуется следующая последовательность обработки ре­зультатов априорного ранжирования.

1) Индивидуальные оценки всех экспертов сводятся в таблицу ап­риорного ранжирования (табл. 23). Так, ранги восьми экспертов по первому фактору: 2; 1; 2; 1; 1; 1;2;1.

2) Определяется сумма рангов всех экспертов по каждому фактору

(22)

где m - число экспертов; к - число факторов.

Например, по фактору "обеспеченность ПТБ" сумма рангов всех экспертов равна (табл. 23)

где aim- ранг, присвоенный 1-му фактору m-тым экспертом;

3) Проверяется правильность заполнения таблицы. Очевидно, во- ^Первых, что максимальный ранг по конкретному фактору (Э|<_т) не мо- ^Жет быть больше числа сравниваемых факторов (к). Во-вторых, мак­симальное значение суммы рангов по любому фактору не может ^Ьь|ть больше произведения максимально возможного ранга на число экспертов, т.е.

В примере

В-третьих, минимально возможная сумма рангов по любому фак­тору не может быть меньше минимального ранга (1), умноженного на

число экспертов, т.е.

Таблица 23

Результаты априорного ранжирования факторов производственной базы АТП, влияющих на коэффициент технической готовности парка

Факторы и их №№ к

Условные номера экспертов, m

CD X го CL ГО 5 2

Отклонения суммы рангов

(N <

Занимаемое место

Вес фактора

>. О

ранги оценки akm

Лк

Дк'

М,

Як

С2оз1 Обеспечен­ность производ­ственной базой (к=1)

-9

0,4

С^озг Мощность (размер) АТП (к=2)

0,2

С^озз Разнома- рочность парка (к=3)

0,1

О^оз4 Уровень механизации ТО и ремонта (к=4)

-4

0,3

Итого

к 2Х 1

= 80

S=182

1,0

 

В примере (л _k)_min = А ₁ = 11 > 8 = 1 • 8. В рассматриваемом примере все три условия удовлетворены: все все все

4) Вычисляется сумма рангов и

сред­

няя сумма рангов

 

5) Проверяется правильность определения суммы рангов по фор­муле

(24)

_Где а - средний ранг оценки факторов каждым экспертом:

В примере

что соответствует данным табл. 23.

6) Определяется отклонение суммы рангов каждого фактора от

средней суммы рангов

Для первого фактора в примере имеем

7) С помощью коэффициента конкордации Кэнделла W оценива­ется степень согласованности мнений экспертов

(25)

где к - число факторов, k=4; m - число экспертов, т=8.

Коэффициент конкордации может изменяться от 0 до 1. Если он существенно отличается от нуля (W>0,5), то можно считать, что между мнениями экспертов имеется определенное согласие.

В рассматриваемом примере

Если коэффициент конкордации недостаточен (W<0,5), то орга­низаторами экспертизы проводится анализ причин негативного резуль­тата. Такими причинами могут быть: нечеткие постановка вопросов ^ИГ|и инструктаж, неправильный выбор факторов, подбор некомпе­тентных экспертов, возможность сговора между ними и др.

8) В зависимости от результатов этого анализа принимается Решение о корректировании проведения экспертизы, а именно:

а) передача ее проведения другой группе специалистов;

б) изменение инструкции;

в) корректировка состава факторов;

г) привлечение других экспертов.

При любом исходе проводить повторную экспертизу прежним со- ^авом экспертов не рекомендуется.

9) При W>0,5 проверяется гипотеза о неслучайности согласия экспертов. Для этой процедуры используется критерий Пирсона (Х-квадрат), определяемый по формуле

 

(26)

где (к-1) - число степеней свободы.

Расчетное значение коэффициента сравнивается с табличным, оп­ределенным при числе степеней свободы к-1.

Если расчетное значение критерия Пирсона больше табличного, a W > 0,5, то это свидетельствует о наличии существенного сходства мнений экспертов, значимости коэффициента кпнкордации и неслучай­ности совпадения мнений экспертов, т.е.

В примере (при уровне

значимости 0,01), и результаты экспертизы могут быть признаны удовлетворительными и адекватными.

10) По сумме рангов Д^ производится ранжирование факторов

(подсистем). Минимальной сумме рангов (Ak)min соответствует наибо­лее важный фактор, получающий первое место М=1, далее факторы располагаются по мере возрастания суммы рангов.

Таким образом, по результатам априорного ранжирования рас­сматриваемые для данного предприятия факторы располагаются по их влиянию на уровень работоспособности следующим образом:

1 место - обеспеченность производственной базой (Aki=11);

2 место - уровень механизации (Ди=16);

3 место - размер предприятия (Дк₂=26);

4 место - разномарочность парка (Д|<з=27).

11) Для наглядного представления о весомости факторов может строиться априорная диаграмма рангов (рис. 35) и определяются удельные веса факторов по их влиянию на целевой показатель (ат) При этом удельный вес фактора определяется по следующей формуле:

(27)

где: М -место фактора по результатам ранжирования. В примере фактор, занявший первое место (М=1), имеет вес пр"¹

 

второе q2=0,3; третье q₃=0,2; четвертое

q4=0,1. Естественно, что

12) Априорная диаграмма рангов позволяет предварительно _оТобрать наиболее действенные подсистемы. К ним в примере отно­сятся те, у которых сумма рангов меньше средней т.е. А|< < Д = 20.

Преимущества априорного ранжирования: сравнительная просто­та организации процедуры и оперативность получения результатов.

Недостатки: большая зависимость результатов от качества органи­зации экспертизы и подбора экспертов, т.е. определенная субъек­тивность. Кроме того, при оценке тех или иных факторов (мероприятий) для данной системы (предприятия, фирмы) эксперты пользуются своим пдежним опытом или взглядами (именно поэтому экспертиза называется априорной). Поэтому правильная постановка вопросов и выбор факто­ров для данной методики имеют особое значение и существенно влияют на результаты экспертизы.

Типичной ошибкой при использовании экспертных методов, диктуе­мых их сравнительной простотой, является стремление включить в оцен­ку максимальное число показателей или объектов разных уровней (см. Правила № 10, 14, 16 и 17).

Например, при оценке качества эксплуатации строительных машин" были выбраны 27 показателей, что не позволило экспертам выделить группу доминирующих. Действительно, средний коэффициент значимо­сти показателей составил 0,037 (3,7%), разрыв между показателем с максимальным (риск возникновения аварии в течение года) и минималь­ным (эстетичность) коэффициентом значимости 0,02 (2,1%), а между смежными показателями всего 0,08%. Иными словами, оценки коэффи­циентов значимости большинства показателей (более 60%) лежали в пределах точности данного метода.

К- Федоров. Номенклатура показателей качества эксплуатации строительных н- Методы менеджмента качества. Июнь 2000 г.

ДкСумма рангов

Рис. 35. Априорная диаграмма рангов

 

При априорном ранжировании для получения более объективных данных сравнивают мнения экспертов нескольких групп и разных школ, обращаются к независимым аудиторам или аудиторским фирмам

§ 20. ПРИМЕНЕНИЕ МЕТОДА ДЕЛЬФИ ПРИ ОЦЕНКЕ СИТУАЦИЙ И ВЫРАБОТКЕ РЕШЕНИЙ

Название метода условно и связано с древнегреческим местом Дельфы, где был построен храм Аполлона, и раз в месяц прорицатель­ница - пифия предсказывала вопрошающим грекам будущее, а жрецы ее предсказания интерпретировали и от имени дельфийского оракула изла­гали в принятой тогда стихотворной иносказательной форме. В Греции считалось, что дельфийский оракул выражает волю бога Аполлона.

С Дельфами связано первое своеобразное «тестирование» группы экспертов, которое провел две с половиной тысячи лет назад царь древ­негреческой Лидии Крез^[5].

Он намеревался начать войну с Персией, но боялся это сделать без благоприятного для него совета оракула. Для выбора наиболее на­дежного «эксперта» Крез послал своих людей ко всем знаменитым ора­кулам того времени. Всем посланцам было поручено на сотый день сво­его отправления задать оракулам одинаковый вопрос: что делает сейчас Крез, царь Лидии? Посланцы получили ответы оракулов и доставили их Крезу.

Ответ дельфийского оракула в изложении жрецов гласил: «В море я капли сочту и на бреге

Исчислю песчинки, Знаю, что мыслит немой, и слышу,

Что молвит безгласный, Чую вкус черепахи, что варится

Вместе с ягненком. Медь вверху и медь внизу, А они посредине».

Этот ответ дельфийского оракула оказался единственным пра­вильным, так как в этот день Крез вместе со слугами варил в медном котле мясо черепахи и баранину, о чем ни оракулы, ни его посланцы знать, естественно, не могли.

Уверившись на этом тесте в надежности дельфийского оракула, Крез одарил храм Аполлона богатыми подарками и задал свой главный вопрос: переходить ли ему с войском реку Галис, которая разделяла то­гда Лидию и Персию. Оракул ответил: «Крез, перейдя через Галис, раз­рушит великое царство». Крез в 540 г. до н. э. перешел реку Галис, на­чал войну с Персией, которая окончилась его полным поражением и бег­ством. Едва спасшись, Крез предъявил претензии дельфийским жрецам* которые ему ответили: «Знай Крез, что Аполлон не обманул тебя ни едИ'

_ным словом. Перейдя через Галис, ты разрушил великое царство - толь­ко не персидское, а свое собственное».

В настоящее время метод Дельфи - это итерационная процедура, позволяющая подвергнуть мнение каждого эксперта критическому анализу со стороны всех остальных.

Предположим, что перед группой экспертов, состоящей из 12 спе­циалистов, поставлена задача оценки продолжительности выполнения определенного мероприятия, например, перевод парка автомобилей на газоимоторное топливо (пример).

Порядок применения данного метода следующий: 1) руководитель экспертизы индивидуально ставит задачу перед экспертами и получает их оценки, т.е. в рассматриваемом примере про­должительность реализации мероприятия;

2) при обработке оценки экспертов располагаются в порядке воз­растания, например:

3) на шкале оценок наносятся квантили Qi, М=Ог, Оз таким об­разом, чтобы число экспертов и оценок разделить на четыре равные А°ли. м - медианное значение результатов опроса экспертов, деля­щее их на две равные части. Иногда в качестве оценок принимается х- °(вместо Q-|), х (вместо М), Х+сг (вместо Q₃).

4) после обработки данных каждому члену группы индивидуально ^общаются следующие результаты первого тура: Q-|=12,5, М=17,

³⁼21,5 мес. и предлагается во втором туре пересмотреть свою оцен-

причем, если новая оценка больше Оз=21,5 или меньше

Qi=12,5, эксперту рекомендуется в письменном виде обосновать свое мнение;

5) определяются результаты второго тура, и новые значения Q₁'_i М' и Q3' сообщаются всем экспертам. Как правило, после каждого тура дисперсия оценок сокращается. Обычно процедура продолжается 3-4 раза, после чего аргументы экспертов повторяются, а вариации оценок стабилизируются. В качестве группового мнения принимается медиана завершающего тура, т.е. Мзав-

Точность метода Дельфи увеличивается с ростом числа экспертов и количества итераций и сокращается с увеличением интервала времени между турами и ответами членов группы.

Преимущества данного метода - анонимность, оперативность, управляемая обратная связь, возможность оценки мотивации при изменении мнения эксперта.

Основной недостаток метода - влияние мнения большинства на экспертов, давших крайние оценки (меньше Qi и больше Оз) в после­дующих за первым туром итерациях.

§ 21 ОПРОСЫ И ИНТЕРВЬЮ

Особенности этих методов состоят в том, что первичные оценки производят не специально выбранные эксперты, а участники процесса, например, потребители продукции и услуг, персонал предприятий и ор­ганизаций, водители, ремонтные рабочие.

Наиболее распространённые цели опросов:

• сбор недостающей при принятии решений информации;

• как инструмент маркетингового анализа;

• при оценке качества продукции, услуг и исполнителей;

• мониторинг общественного мнения;

• пиаровские акции.

В табл. 24 в качестве примера приведены результаты типичного опроса более 30 тыс. потребителей - пассажиров ряда авиационных компаний, проведенного английским журналом «Holiday Which». Читате­ли журнала получили анкету, в которой должны были указать:

• авиакомпании, услугами которых они пользовались;

• дать по 5-балльной шкале оценку 10 потребительских показате­лей услуг авиакомпаний;

• рекомендовать (или не рекомендовать) своим друзьям и близким пользование услугами данной авиакомпании.

Процент положительных оценок по этому вопросу определил рей­тинг компании.

Обращает внимание значительных разрыв потребительских оценок компаний: по баллам - 3-^4; по среднему баллу - почти 5 раз; по рейтингу - почти в 7 раз. При этом расположение оценок компаний различается- Значимость подобных расхождений при неизвестных законах распреД^е'

_ления может быть определена непараметрическими методами по коэф­фициенту корреляции рангов:

(28)

d=(X-y) - разность между числами порядков (рангов) сравниваемых оценок;

X - №№ последовательности рейтингов; у - то же, среднего балла компаний; П - число членов ряда.

Таблица 24 Потребительская оценка авиакомпании Компания Рейтинг, % Вентиляция Персонал Питание Регистрация Чистота в сало­не Развлечения Пространство для ног Удобство кресел Туалет Цена билета Средний балл Singapore Airlines                       4,7 Emirates                       4,6 SAS             -         3,7 Virgin Atlantic                       3,1 Malaysia Airlines                       3,5 Swissair                       3,4 Qantas                       3,0 South African Airways                       2,8 KLM                       2,8 _Ai[Canada                       2,9 -American Airlines                       2,8 Utelta Air Lines                       2,8 ~5[jtish Airways                       2,6 -AiMVIalta_             -         2,7 J^fthansa_                       3,2 -lAPAir Portugal             -         2,6               -         2,0 Jberica                       1,9 -Alitalia^             -         2,2 -%2pic_Airways             -         2,3                         2,2 sAirways             -       - 1,2 ^эЬепа           -         - 1,0 ^sayetair^             -     - - 1,0