Студопедия Главная Случайная страница Обратная связь

Разделы: Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

Проблемы подбора экспертов




 

Для реализации процедуры экспертного оценивания не обходимо сформировать группу экспертов. Общим требованием при формировании группы экспертов является эффективное решение проблемы экспертизы. Эффективность решения проблемы определяется характеристиками достоверности экспертизы и затрат на нее.

Достоверностьэкспертного оценивания может быть определена только на основе практического решения проблемы и анализа ее результатов. Использование экспертов как раз и обусловлено тем, что отсутствуют какие-либо другие способы получения информации. Поэтому оценка достоверности экспертизы может осуществляться, как правило, только по апостериорным (после опытным) данным. Если экспертиза проводите систематически с примерно одним и тем же составом экспертов, то появляется возможность накопления статистических данных по достоверности работы группы экспертов и получения устойчивой числовой оценки достоверности. Эту оценку можно использовать в качестве априорных данных о достоверности группы эксперта для последующих экспертиз.

Затраты на экспертизу в определенной мере пропорциональны числу экспертов. Повышение достоверности за счет увеличения числа экспертов и туров опроса приводит к увеличению затрат. Отсюда следует проблема процедуры подбора группы экспертов: определение чис­ла экспертов а группе для обеспечения приемлемой до­стоверности при минимальных затратах на экспертизу или определение числа экспертов для обеспечения мак­симальной достоверности при ограниченных затратах на экспертизу.

Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характе­ристик экспертов.

Определение характера зависимости достоверности от перечисленных факторов является еще одной пробле­мой процедуры подбора экспертов.

Сложной проблемой процедуры подбора является формирование системы характеристик эксперта, сущест­венно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свой­ства специалиста и возможные отношения между людь­ми, влияющие на экспертизу. Важным требованием к характеристикам эксперта является измеримость этих характеристик.

Еще одной проблемой является организация процеду­ры подбора экспертов, т. е. определение четкой последо­вательности работ, выполняемых в процессе подбора экс­пертов и необходимых ресурсов для их реализации.

 

§ 3.2. Характеристики экспертов

 

Для описания экспертов с точки зрения оценки качества решения проблемы введем следующие характеристики: компетентность; креативность; отношение к экспертизе; конформизм; аналитичность и широта мышления; конст­руктивность мышления; коллективизм; самокритичность.

В настоящее время перечисленные характеристики в основном оцениваются качественно. Для ряда характе­ристик делаются попытки ввести количественные оценки. Рассмотрим содержание и возможные пути количествен­ного описания характеристик экспертов.

Компетентность — это степень квалификации экспер­та в определенной области знаний. Компетентность мо­жет быть определена на основе анализа плодотворности деятельности специалиста, уровня и широты знакомства с достижениями мировой науки и техники понимания проблем и перспектив развития. Некоторые авторы считают, что компетентность и научный авторитет являются тождественными понятиями. Имеются предложения оценивать компетентность экспертов по ученой степении занимаемой должности. В зависимости от ученой степени и занимаемой должности эксперту присваивается некоторый вес. В табл. 3.1 в качестве примера приведены веса приписываемые эксперту, работающему в научно-исследовательской организации.

Таблица 3.1

Занимаемая должность Специ­алист без степени Кандидат наук Доктор наук Академик, член-корреспондент
Ведущий инженер (конструктор) - - -
Младший научный сотрудник 1,5 - -
Старший научный сотрудник - 2,25 3,0 -
Заведующий лабораторией, сектором, руководитель группы 3,0 4,0 6,0
Заведующий отделом, заместитель заведующего отделом 2,5 3,75 5,0 7,5
Руководитель комплекса, отделения 3,0 4,5 6,0 9,0
Директор, заместитель директора 4,0 6,0 8,0 12,0

Однако не всегда ученая степень определяет компе­тентность экспертов. Это подтверждается и эксперимен­тальными данными.

Для оценки компетентности ряд авторов предлагают использовать такие показатели, как количество публи­каций, количество ссылок на научные труды эксперта и другие показатели. Несомненно, что эти показатели в определенной степени отражают компетентность экспер­та. Однако, во-первых, однозначной зависимости между этими показателями и уровнем компетентности не суще­ствует и, во-вторых, непосредственное измерение этих показателей представляет собой трудоемкую работу.

В практике экспертного оценивания получила рас­пространение оценка компетентности с помощью само­оценки эксперта и оценки другими экспертами. Естест­венность такого подхода обусловлена тем, что измере­ние столь сложного свойства, как компетентность, может быть реально осуществлено только людьми.

Достаточно простой и полной методикой оценки ком­петентности экспертов является методика, рекомендован­ная Госкомитетом Совета Министров СССР по науке и технике для составления научно-технических прогнозов.

В этой методике компетентность экспертов оцени­вается коэффициентом компетентности k, который вычи­сляется на основе суждения эксперта о степени своей информированности по решаемой проблеме и указания типовых источников аргументации своих мнений. Коэф­фициент компетентности вычисляется по формуле

(3.1)

где kи— коэффициент информированности по проблеме, получаемой на основе самооценки эксперта по десяти­балльной шкале и умножения этой оценки на 0,1; ka — коэффициент аргументации, получаемой в результате суммирования баллов по эталонной таблице (см. табл. 3.2.).

Таблица 3.2.

Источники аргументации Степень влияния источника на Ваше мнение
Высокая Средняя Низкая
Проведенный Вами теоретический анализ 0,3 0,2 0,1
Ваш производственный опыт 0,5 0,4 0,2
Обобщение работ отечественных авторов 0,05 0,05 0,05
Обобщение работ зарубежных авторов 0,05 0,05 0,05
Ваше личное знакомство с состоянием дел за рубежом 0,05 0,05 0,05
Ваша интуиция 0,05 0,05 0,05

 

Эксперту дается эта таблица без цифр. Эксперт от­мечает (крестом), какой источник он оценивает по гра­дациям В, С, Н. После наложения таблицы эксперта на эталонную таблицу 3.2 подсчитывается количество баллов под крестами по всем источникам аргументации. При этом, если ka = l,0, то степень влияния всех источников высокая, если kа = 0,8, то средняя, и, если kа = 0,5, то учитывается низкая степень источников аргументации. Коэффициент компетентности 0 ≤ k ≤ 1.

Можно предложить эффективную методику оценки компетентности экспертов, основанную на вычислении относительных коэффициентов компетентности по ре­зультатам высказываний специалистов о составе эксперт­ной группы. Сущность этой методики заключается в сле­дующем. Ряду специалистов предлагается высказать суждение о включении лиц в экспертную группу для ре­шения определенной проблемы. Если в этот список по­падают лица, не вошедшие в первоначальный список, то им также предлагается назвать специалистов для уча­стия в экспертизе. Проведя несколько туров такого опро­са, можно составить достаточно полный список кандида­тов в эксперты. По результатам проведенного опроса составляется матрица, по строкам и столбцам которой записываются фамилии экспертов, а элементами табли­цы являются переменные:

Причем каждый эксперт может включать или не вклю­чать себя в экспертную группу. По данной таблице мож­но вычислить относительные коэффициенты компетент­ности экспертов, используя алгоритм решения задачи о лидере. В соответствии с этим алгоритмом введем относительные коэффициенты компетентности h-го по­рядка для каждого эксперта

(3.2)

В этой формуле m—общее число экспертов в группе (размерность квадратной матрицы ); элементы матрицы; h —номер порядка коэффициента компетентности. Коэффициенты компетентности нормированы так, что их сумма равна единице:

(3.3)

По формуле (3.2) можно непосредственно вычислять значения коэффициентов компетентности для различных порядков, начиная с первого. Коэффициент компетент­ности первого порядка вычисляется по формуле (3.2)
при h = 1:

(3.4)

Смысл этой формулы состоит в том, что подсчиты­вается сумма единиц (число голосов), поданных за i-го эксперта (сумма в числителе), и делится на общую сум­му всех единиц, т. е. голосов (выражение в знаменате­ле). Таким образом, коэффициент компетентности первого порядка определяется как относительное число экспертов, высказавшихся за включение i-го эксперта в список экспертной группы.

Относительный коэффициент компетентности второго порядка вычисляется по формуле (3.2) при h = 2:

(3.5)

В этой формуле коэффициенты компетентности первого порядка определены по формуле (3.4). Таким образом, коэффициенты компетентности второго порядка пред­ставляют собой относительные количества голосов взве­шенных коэффициентами компетентности первого порядка.

Последовательно вычисляя относительные коэффи­циенты компетентности все более высокого порядка, можно убедиться, что процесс этот быстро сходится после 3 - 4 вычислений, т. е. относительные коэффициенты компетентности стабилизируются.

Рассмотренная последовательная процедура вычисления относительных коэффициентов компетентности весьма проста и может выполнятьсядаже вручную при числе m=10-20.

При использовании ЭВМ целесообразно вычислять предельные коэффициенты компетентности при h→∞.

; . (3.6)

Можно показать, что предельные значения коэффи­циентов компетентности представляют собой компонен­ты собственного вектора для максимального собственно­го числа матрицы . Собственные числа матри­цы X определяются как корни алгебраического уравне­ния

, (3.7)

где - матрица голосования па включение экс­пертов в группу, λ - вектор собственных чисел матрицы, X, Е — единичная матрица. Собственный вектор матри­цы, соответствующий максимальному собственному чис­лу, вычисляется из системы m+1порядка линейных ал­гебраических уравнений;

; , (3.8)

где - вектор коэффициентов компетентности, являющийся собственным вектором матрицы X для максимального собственного числа λ0.

В частном случае, когда все специалисты высказались за участие в экспертизе всех лиц, матрица X содержит в качестве элементов только единицы. Следовательно, произведение Xk образует вектор с одинаковыми компонентами, равными . Поэтому уравнения (3.8) принимают вид

(i=1, 2, …, m).

Отсюда коэффициенты компетентности равны

(i=1, 2, …, m).

Можно показать, что максимальное собственное число в этом частном случае равно λо = т. Следовательно, все коэффициенты одинаковы и равны

(i=1, 2, …, m).

Существуют подходы к оценке компетентности, осно­ванные на учете апостериорных данных, т. е. на учете ре­зультатов экспертного оценивания. Например, в работе [13] предложен способ оценки компетентности экспертов, базирующийся на вычислении среднего расстояния в пространстве признаков товаров, которые оценивались экспертами. Считается, что если это расстояние мало, то эксперт подходит к оценке товара в целом, не раз­личая отдельные стороны товара и, следовательно, та­кой эксперт недостаточно компетентен.

Креативность — это способность решать творческие задачи. В настоящее время кроме суждений, основанных на изучении деятельности эксперта, нет каких-либо пред­ложений по количественной оценке этой характеристики.

Характеристика — отношение к экспертизе важна с точки зрения принятия решения о привлечении специа­листа в качестве эксперта. Негативное или пассивное отношение специалиста к решению конкретной пробле­мы, большая занятость и другие факторы существенно влияют на выполнение своих функций экспертами.

Конформизм — это подверженность влиянию автори­тетов. Это свойство проявляется в виде неустойчивости собственного мнения. Особенно сильно конформизм мо­жет иметь место при проведении экспертизы в виде от­крытых дискуссий. Мнение авторитетов, высказанное на открытой дискуссии, может подавлять мнение лиц, обла­дающих высокой степенью конформизма.

Аналитичность и широта мышления— важные харак­теристики эксперта, особенно при решении сложных про­блем. Специалист, имеющий глубокие знания, но обла­дающий «профессиональной слепотой», не может каче­ственно решать проблемы, требующие взгляда, выходя­щего за рамки сложившихся представлений.

Конструктивность мышления— это прагматический аспект мышления. Эксперт должен давать решения,об­ладающие свойством практичности. Учет реальных воз­можностей решения проблемы очень важен при прове­дении экспертного оценивания. Существуют квалифици­рованные специалисты со слабо выраженнойпрагмати­ческой направленностью.

Свойство коллективизмадолжно учитываться при проведении открытых дискуссий. Этика поведения чело­века вколлективе экспертов во многих случаях сущест­венно влияет на создание положительного психологиче­ского климата и тем самым на успешность решения про­блемы.

Самокритичность экспертапроявляется при самооцен­ке степени своей компетентности, а также при принятии решения по рассматриваемой проблеме.

Перечисленные характеристики эксперта достаточно полно описывают необходимые качества, которые влия­ют на успешность решения задачи экспертного оценива­ния. Однако их анализ требует очень кропотливой и тру­доемкой работы по сбору информации и ее изучению. Кроме того, часть характеристик эксперта, как правило, является положительной, а часть — отрицательной. Воз­никает проблема согласования характеристик между со­бой. Причем, чем больше характеристик принимается во внимание, тем труднее принять решение о том, что важнее и что допустимо для эксперта. Для устранения указанной трудности необходимо сформулировать ка­кую-то обобщенную характеристику эксперта, учитываю­щую его важнейшие качества, с одной стороны, и до­пускающую непосредственное измерение, с другой сто­роны. В качестве такой характеристики можно принять достоверность суждений эксперта. Именно эта характе­ристика определяет эксперта как «измерительный при­бор». Однако применение такой обобщенной характери­стики требует информации о прошлом опыте участия эксперта в решении проблем. В ряде случаев такой ин­формации может не быть.

Количественно достоверность эксперта оценивают по формуле

(i=1, 2, …, m).

где Nn — число случаев, когда i-й эксперт дал решение, приемлемость которого подтвердилась практикой, N — общее число случаев участия i-гo эксперта в решении проблемы.

Можно также учесть вклад каждого эксперта в до­стоверность всей группы. Эта относительная достовер­ность определяется по формуле

(i=1, 2, …, m).

где m — число экспертов в группе. В знаменателе стоитсредняя достоверность группы экспертов.

§ 3.3. Характеристики группы экспертов

Как уже было указано, основными характеристиками группы экспертов являются: достоверность экспертизы и затраты на нее. Обе эти характеристики определяют ко­личество экспертов в группе и долевой состав различных специалистов в группе.

Достоверность экспертизы зависит от количества экс­пертов в группе и качества экспертов. Для проблем пер­вого класса, к которому относятся проблемы с высоким уровнем информационного потенциала знаний, увеличе­ние количества экспертов в группе приводит, как это следует из теории обработки наблюдений, к монотонно­му возрастанию достоверности экспертизы. Экспериментальные исследования подтверждают эту зависимость. На рис. 1 приведен график экспериментальных данных,

Достоверность экспертизы
  Количество экспертов
  Рис.1.

 

устанавливающих монотонное возрастание достоверно­сти с увеличением количества экспертов в группе [53]. Для проблем второго класса зависимость достоверно­сти групповой оценки от количества экспертов неясна.

Во всяком случае монотонно возрастающая зависимость достоверности экспертизы проблем второго класса от количества экспертов маловероятна.

Достоверность экспертизы существенно зависит от качества экспертов, в особенности

от их компетентности. Можно утверждать,

что достоверность груп­повой экспертизы есть монотонно возрастаю­щая функция средней групповой самооценки компетентности, кото­рая определяется как среднее арифметиче­ское значение самооце­нок группы экспертов. На рис. 2 приведен график эксперимен­тальных данных, под­тверждающий моно­тонно возрастающую зависимость между до­стоверностью экспертизы и величиной групповой само­оценки компетентности [53]. На графике по оси абсцисс отмечены три уровня групповой компетентности: высо­кая (В), средняя (С), низкая (Н).

Достоверность группового экспертного оценивания зависит от состава специалистов. Привлечение к экспер­тизе специалистов различного профиля определяется ши­ротой решаемой проблемы. При постановке задач экс­пертизы необходимо проанализировать области знаний и деятельности, которые связаны с решаемой проблемой, и тем самым определить специализацию экспертов, ко­торых целесообразно пригласить для участия в работе.

Количество потребных для экспертизы специалистов различных профилей определяет минимальную числен­ность экспертной группы.

Успешность результатов экспертизы существенно за­висит от отношения экспертов. Поэтому участие в экс­пертизе должно рассматриваться как плановая работа, требующая морального и материального поощрения. Оплата экспертов должна рассматриваться как фактор, стимулирующий высокое качество проведения экспер­тизы {43}.

Затраты на экспертизу тем выше, чем больше чис­ленность группы экспертов и выше квалификация экс­пертов. На практике всегда имеет место ограничение финансовых ресурсов, расходуемых на вознаграждение экспертов. Это определяет максимально допустимое ко­личество экспертов в группе с учетом их квалификации.

 

§ 3.4. Организация процедуры подбора

 

Работа по подбору экспертов возлагается на группу управления. От качества выполнения этой работы су­щественно зависят результаты экспертизы, поэтому она
должна поручаться квалифицированным специалистам. Процедура подбора группы экспертов включает три эта­па: определение количества экспертов; составление списка экспертов; получение согласия экспертов на участие в работе.

Для определения количества экспертов члены груп­пы управления выявляют области знаний, связанных с решаемой проблемой. На основе рассмотрения содержа­ния проблемы составляется перечень областей знаний, по которым необходимо привлечь специалистов. Для каждой области знаний определяется минимальное и максимальное число экспертов, исходя из приемлемой достоверности результатов экспертизы с учетом роли каждой области знаний в решении проблемы (например, в процентах). После определения минимального и мак­симального числа экспертов по каждой области сумми­рованием определяется минимальное и максимальное число экспертов. Оценки снизу и сверху числа экспертов определяют соответственно нижнюю и верхнюю оценки достоверности экспертизы.

Максимальное число экспертов в группе проверяется на ограничение по финансовым ресурсам. Определив за­висимость между достоверностью, количеством экспер­тов и расходами на оплату, группа управления представ­ляет руководству эту информацию и формулирует воз­можные альтернативы решений. Такими альтернативами могут быть либо снижение достоверности результатов экспертного оценивания до уровня, обеспечивающего вы­полнение ограничения по расходам на оплату экспертов, либо сохранение исходного требования на достоверность экспертизы и увеличение расходов на оплату экспертов.

Следующим этапом работы по подбору экспертов яв­ляется составление предварительного списка экспертов. При составлении этого списка проводится анализ ка­честв экспертов. Кроме учета качеств экспертов, опреде­ляются их местонахождение и возможности участия вы­бранных специалистов в экспертизе. При оценке качеств учитывается мнение людей, хорошо знающих кандида­тов в эксперты.

После составления списка экспертов им направляют­ся письма с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности.

Получив ответы экспертов, группа управления состав­ляет окончательный список группы экспертов.

После составления и утверждения списка экспертам посылается сообщение о включении их в состав эксперт­ной группы. Если экспертное оценивание производится методом анкетирования, то одновременно с уведомлением о включении в экспертную группу всем экспертам высы­лается анкета с необходимыми инструкциями для их за­полнения. Сообщением экспертам о включении их в экс­пертизу заканчивается работа по подбору экспертов.







Дата добавления: 2015-08-30; просмотров: 913. Нарушение авторских прав


Рекомендуемые страницы:


Studopedia.info - Студопедия - 2014-2020 год . (0.01 сек.) русская версия | украинская версия