Проблемы подбора экспертов
Для реализации процедуры экспертного оценивания не обходимо сформировать группу экспертов. Общим требованием при формировании группы экспертов является эффективное решение проблемы экспертизы. Эффективность решения проблемы определяется характеристиками достоверности экспертизы и затрат на нее. Достоверность экспертного оценивания может быть определена только на основе практического решения проблемы и анализа ее результатов. Использование экспертов как раз и обусловлено тем, что отсутствуют какие-либо другие способы получения информации. Поэтому оценка достоверности экспертизы может осуществляться, как правило, только по апостериорным (после опытным) данным. Если экспертиза проводите систематически с примерно одним и тем же составом экспертов, то появляется возможность накопления статистических данных по достоверности работы группы экспертов и получения устойчивой числовой оценки достоверности. Эту оценку можно использовать в качестве априорных данных о достоверности группы эксперта для последующих экспертиз. Затраты на экспертизу в определенной мере пропорциональны числу экспертов. Повышение достоверности за счет увеличения числа экспертов и туров опроса приводит к увеличению затрат. Отсюда следует проблема процедуры подбора группы экспертов: определение числа экспертов а группе для обеспечения приемлемой достоверности при минимальных затратах на экспертизу или определение числа экспертов для обеспечения максимальной достоверности при ограниченных затратах на экспертизу. Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характеристик экспертов. Определение характера зависимости достоверности от перечисленных факторов является еще одной проблемой процедуры подбора экспертов. Сложной проблемой процедуры подбора является формирование системы характеристик эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения между людьми, влияющие на экспертизу. Важным требованием к характеристикам эксперта является измеримость этих характеристик. Еще одной проблемой является организация процедуры подбора экспертов, т. е. определение четкой последовательности работ, выполняемых в процессе подбора экспертов и необходимых ресурсов для их реализации.
§ 3.2. Характеристики экспертов
Для описания экспертов с точки зрения оценки качества решения проблемы введем следующие характеристики: компетентность; креативность; отношение к экспертизе; конформизм; аналитичность и широта мышления; конструктивность мышления; коллективизм; самокритичность. В настоящее время перечисленные характеристики в основном оцениваются качественно. Для ряда характеристик делаются попытки ввести количественные оценки. Рассмотрим содержание и возможные пути количественного описания характеристик экспертов. Компетентность — это степень квалификации эксперта в определенной области знаний. Компетентность может быть определена на основе анализа плодотворности деятельности специалиста, уровня и широты знакомства с достижениями мировой науки и техники понимания проблем и перспектив развития. Некоторые авторы считают, что компетентность и научный авторитет являются тождественными понятиями. Имеются предложения оценивать компетентность экспертов по ученой степении занимаемой должности. В зависимости от ученой степени и занимаемой должности эксперту присваивается некоторый вес. В табл. 3.1 в качестве примера приведены веса приписываемые эксперту, работающему в научно-исследовательской организации. Таблица 3.1
Однако не всегда ученая степень определяет компетентность экспертов. Это подтверждается и экспериментальными данными. Для оценки компетентности ряд авторов предлагают использовать такие показатели, как количество публикаций, количество ссылок на научные труды эксперта и другие показатели. Несомненно, что эти показатели в определенной степени отражают компетентность эксперта. Однако, во-первых, однозначной зависимости между этими показателями и уровнем компетентности не существует и, во-вторых, непосредственное измерение этих показателей представляет собой трудоемкую работу. В практике экспертного оценивания получила распространение оценка компетентности с помощью самооценки эксперта и оценки другими экспертами. Естественность такого подхода обусловлена тем, что измерение столь сложного свойства, как компетентность, может быть реально осуществлено только людьми. Достаточно простой и полной методикой оценки компетентности экспертов является методика, рекомендованная Госкомитетом Совета Министров СССР по науке и технике для составления научно-технических прогнозов. В этой методике компетентность экспертов оценивается коэффициентом компетентности k, который вычисляется на основе суждения эксперта о степени своей информированности по решаемой проблеме и указания типовых источников аргументации своих мнений. Коэффициент компетентности вычисляется по формуле (3.1) где kи — коэффициент информированности по проблеме, получаемой на основе самооценки эксперта по десятибалльной шкале и умножения этой оценки на 0,1; ka — коэффициент аргументации, получаемой в результате суммирования баллов по эталонной таблице (см. табл. 3.2.). Таблица 3.2.
Эксперту дается эта таблица без цифр. Эксперт отмечает (крестом), какой источник он оценивает по градациям В, С, Н. После наложения таблицы эксперта на эталонную таблицу 3.2 подсчитывается количество баллов под крестами по всем источникам аргументации. При этом, если ka = l,0, то степень влияния всех источников высокая, если kа = 0,8, то средняя, и, если kа = 0,5, то учитывается низкая степень источников аргументации. Коэффициент компетентности 0 ≤ k ≤ 1. Можно предложить эффективную методику оценки компетентности экспертов, основанную на вычислении относительных коэффициентов компетентности по результатам высказываний специалистов о составе экспертной группы. Сущность этой методики заключается в следующем. Ряду специалистов предлагается высказать суждение о включении лиц в экспертную группу для решения определенной проблемы. Если в этот список попадают лица, не вошедшие в первоначальный список, то им также предлагается назвать специалистов для участия в экспертизе. Проведя несколько туров такого опроса, можно составить достаточно полный список кандидатов в эксперты. По результатам проведенного опроса составляется матрица, по строкам и столбцам которой записываются фамилии экспертов, а элементами таблицы являются переменные: Причем каждый эксперт может включать или не включать себя в экспертную группу. По данной таблице можно вычислить относительные коэффициенты компетентности экспертов, используя алгоритм решения задачи о лидере. В соответствии с этим алгоритмом введем относительные коэффициенты компетентности h-го порядка для каждого эксперта (3.2) В этой формуле m —общее число экспертов в группе (размерность квадратной матрицы ); — элементы матрицы; h —номер порядка коэффициента компетентности. Коэффициенты компетентности нормированы так, что их сумма равна единице: (3.3) По формуле (3.2) можно непосредственно вычислять значения коэффициентов компетентности для различных порядков, начиная с первого. Коэффициент компетентности первого порядка вычисляется по формуле (3.2) (3.4) Смысл этой формулы состоит в том, что подсчитывается сумма единиц (число голосов), поданных за i-го эксперта (сумма в числителе), и делится на общую сумму всех единиц, т. е. голосов (выражение в знаменателе). Таким образом, коэффициент компетентности первого порядка определяется как относительное число экспертов, высказавшихся за включение i-го эксперта в список экспертной группы. Относительный коэффициент компетентности второго порядка вычисляется по формуле (3.2) при h = 2: (3.5) В этой формуле коэффициенты компетентности первого порядка определены по формуле (3.4). Таким образом, коэффициенты компетентности второго порядка представляют собой относительные количества голосов взвешенных коэффициентами компетентности первого порядка. Последовательно вычисляя относительные коэффициенты компетентности все более высокого порядка, можно убедиться, что процесс этот быстро сходится после 3 - 4 вычислений, т. е. относительные коэффициенты компетентности стабилизируются. Рассмотренная последовательная процедура вычисления относительных коэффициентов компетентности весьма проста и может выполнятьсядаже вручную при числе m=10-20. При использовании ЭВМ целесообразно вычислять предельные коэффициенты компетентности при h→∞. ; . (3.6) Можно показать, что предельные значения коэффициентов компетентности представляют собой компоненты собственного вектора для максимального собственного числа матрицы . Собственные числа матрицы X определяются как корни алгебраического уравнения , (3.7) где - матрица голосования па включение экспертов в группу, λ - вектор собственных чисел матрицы, X, Е — единичная матрица. Собственный вектор матрицы, соответствующий максимальному собственному числу, вычисляется из системы m+ 1порядка линейных алгебраических уравнений; ; , (3.8) где - вектор коэффициентов компетентности, являющийся собственным вектором матрицы X для максимального собственного числа λ0. В частном случае, когда все специалисты высказались за участие в экспертизе всех лиц, матрица X содержит в качестве элементов только единицы. Следовательно, произведение Xk образует вектор с одинаковыми компонентами, равными . Поэтому уравнения (3.8) принимают вид (i=1, 2, …, m). Отсюда коэффициенты компетентности равны (i=1, 2, …, m). Можно показать, что максимальное собственное число в этом частном случае равно λо = т. Следовательно, все коэффициенты одинаковы и равны (i=1, 2, …, m). Существуют подходы к оценке компетентности, основанные на учете апостериорных данных, т. е. на учете результатов экспертного оценивания. Например, в работе [13] предложен способ оценки компетентности экспертов, базирующийся на вычислении среднего расстояния в пространстве признаков товаров, которые оценивались экспертами. Считается, что если это расстояние мало, то эксперт подходит к оценке товара в целом, не различая отдельные стороны товара и, следовательно, такой эксперт недостаточно компетентен. Креативность — это способность решать творческие задачи. В настоящее время кроме суждений, основанных на изучении деятельности эксперта, нет каких-либо предложений по количественной оценке этой характеристики. Характеристика — отношение к экспертизе важна с точки зрения принятия решения о привлечении специалиста в качестве эксперта. Негативное или пассивное отношение специалиста к решению конкретной проблемы, большая занятость и другие факторы существенно влияют на выполнение своих функций экспертами. Конформизм — это подверженность влиянию авторитетов. Это свойство проявляется в виде неустойчивости собственного мнения. Особенно сильно конформизм может иметь место при проведении экспертизы в виде открытых дискуссий. Мнение авторитетов, высказанное на открытой дискуссии, может подавлять мнение лиц, обладающих высокой степенью конформизма. Аналитичность и широта мышления — важные характеристики эксперта, особенно при решении сложных проблем. Специалист, имеющий глубокие знания, но обладающий «профессиональной слепотой», не может качественно решать проблемы, требующие взгляда, выходящего за рамки сложившихся представлений. Конструктивность мышления — это прагматический аспект мышления. Эксперт должен давать решения,обладающие свойством практичности. Учет реальных возможностей решения проблемы очень важен при проведении экспертного оценивания. Существуют квалифицированные специалисты со слабо выраженнойпрагматической направленностью. Свойство коллективизма должно учитываться при проведении открытых дискуссий. Этика поведения человека вколлективе экспертов во многих случаях существенно влияет на создание положительного психологического климата и тем самым на успешность решения проблемы. Самокритичность эксперта проявляется при самооценке степени своей компетентности, а также при принятии решения по рассматриваемой проблеме. Перечисленные характеристики эксперта достаточно полно описывают необходимые качества, которые влияют на успешность решения задачи экспертного оценивания. Однако их анализ требует очень кропотливой и трудоемкой работы по сбору информации и ее изучению. Кроме того, часть характеристик эксперта, как правило, является положительной, а часть — отрицательной. Возникает проблема согласования характеристик между собой. Причем, чем больше характеристик принимается во внимание, тем труднее принять решение о том, что важнее и что допустимо для эксперта. Для устранения указанной трудности необходимо сформулировать какую-то обобщенную характеристику эксперта, учитывающую его важнейшие качества, с одной стороны, и допускающую непосредственное измерение, с другой стороны. В качестве такой характеристики можно принять достоверность суждений эксперта. Именно эта характеристика определяет эксперта как «измерительный прибор». Однако применение такой обобщенной характеристики требует информации о прошлом опыте участия эксперта в решении проблем. В ряде случаев такой информации может не быть. Количественно достоверность эксперта оценивают по формуле (i=1, 2, …, m). где Nn — число случаев, когда i-й эксперт дал решение, приемлемость которого подтвердилась практикой, N — общее число случаев участия i-гo эксперта в решении проблемы. Можно также учесть вклад каждого эксперта в достоверность всей группы. Эта относительная достоверность определяется по формуле (i=1, 2, …, m). где m — число экспертов в группе. В знаменателе стоитсредняя достоверность группы экспертов. § 3.3. Характеристики группы экспертов Как уже было указано, основными характеристиками группы экспертов являются: достоверность экспертизы и затраты на нее. Обе эти характеристики определяют количество экспертов в группе и долевой состав различных специалистов в группе. Достоверность экспертизы зависит от количества экспертов в группе и качества экспертов. Для проблем первого класса, к которому относятся проблемы с высоким уровнем информационного потенциала знаний, увеличение количества экспертов в группе приводит, как это следует из теории обработки наблюдений, к монотонному возрастанию достоверности экспертизы. Экспериментальные исследования подтверждают эту зависимость. На рис. 1 приведен график экспериментальных данных,
устанавливающих монотонное возрастание достоверности с увеличением количества экспертов в группе [53]. Для проблем второго класса зависимость достоверности групповой оценки от количества экспертов неясна. Во всяком случае монотонно возрастающая зависимость достоверности экспертизы проблем второго класса от количества экспертов маловероятна. Достоверность экспертизы существенно зависит от качества экспертов, в особенности от их компетентности. Можно утверждать, что достоверность групповой экспертизы есть монотонно возрастающая функция средней групповой самооценки компетентности, которая определяется как среднее арифметическое значение самооценок группы экспертов. На рис. 2 приведен график экспериментальных данных, подтверждающий монотонно возрастающую зависимость между достоверностью экспертизы и величиной групповой самооценки компетентности [53]. На графике по оси абсцисс отмечены три уровня групповой компетентности: высокая (В), средняя (С), низкая (Н). Достоверность группового экспертного оценивания зависит от состава специалистов. Привлечение к экспертизе специалистов различного профиля определяется широтой решаемой проблемы. При постановке задач экспертизы необходимо проанализировать области знаний и деятельности, которые связаны с решаемой проблемой, и тем самым определить специализацию экспертов, которых целесообразно пригласить для участия в работе. Количество потребных для экспертизы специалистов различных профилей определяет минимальную численность экспертной группы. Успешность результатов экспертизы существенно зависит от отношения экспертов. Поэтому участие в экспертизе должно рассматриваться как плановая работа, требующая морального и материального поощрения. Оплата экспертов должна рассматриваться как фактор, стимулирующий высокое качество проведения экспертизы {43}. Затраты на экспертизу тем выше, чем больше численность группы экспертов и выше квалификация экспертов. На практике всегда имеет место ограничение финансовых ресурсов, расходуемых на вознаграждение экспертов. Это определяет максимально допустимое количество экспертов в группе с учетом их квалификации.
§ 3.4. Организация процедуры подбора
Работа по подбору экспертов возлагается на группу управления. От качества выполнения этой работы существенно зависят результаты экспертизы, поэтому она Для определения количества экспертов члены группы управления выявляют области знаний, связанных с решаемой проблемой. На основе рассмотрения содержания проблемы составляется перечень областей знаний, по которым необходимо привлечь специалистов. Для каждой области знаний определяется минимальное и максимальное число экспертов, исходя из приемлемой достоверности результатов экспертизы с учетом роли каждой области знаний в решении проблемы (например, в процентах). После определения минимального и максимального числа экспертов по каждой области суммированием определяется минимальное и максимальное число экспертов. Оценки снизу и сверху числа экспертов определяют соответственно нижнюю и верхнюю оценки достоверности экспертизы. Максимальное число экспертов в группе проверяется на ограничение по финансовым ресурсам. Определив зависимость между достоверностью, количеством экспертов и расходами на оплату, группа управления представляет руководству эту информацию и формулирует возможные альтернативы решений. Такими альтернативами могут быть либо снижение достоверности результатов экспертного оценивания до уровня, обеспечивающего выполнение ограничения по расходам на оплату экспертов, либо сохранение исходного требования на достоверность экспертизы и увеличение расходов на оплату экспертов. Следующим этапом работы по подбору экспертов является составление предварительного списка экспертов. При составлении этого списка проводится анализ качеств экспертов. Кроме учета качеств экспертов, определяются их местонахождение и возможности участия выбранных специалистов в экспертизе. При оценке качеств учитывается мнение людей, хорошо знающих кандидатов в эксперты. После составления списка экспертов им направляются письма с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности. Получив ответы экспертов, группа управления составляет окончательный список группы экспертов. После составления и утверждения списка экспертам посылается сообщение о включении их в состав экспертной группы. Если экспертное оценивание производится методом анкетирования, то одновременно с уведомлением о включении в экспертную группу всем экспертам высылается анкета с необходимыми инструкциями для их заполнения. Сообщением экспертам о включении их в экспертизу заканчивается работа по подбору экспертов.
|