Д) метод экспертных оценок

В практике идеологической работы могут воз­никать ситуации, когда для оценки какого-либо явления трудно либо вообще невозможно выделить объект — но­ситель проблемы и, соответственно, использовать его в ка­честве источника информации. Чаще всего такие ситуа­ции связаны с попыткой прогнозировать изменение того или иного социального явления, процесса; с необходи­мостью представить состояние интересующего предмета через один, два, пять и более лет или дать объективную оценку таким сторонам деятельности и качествам людей, по которым их самооценка может оказаться искаженной. Подобная информация может исходить только от компетентных лиц — экспертов, имеющих глубокие знания о предмете или объекте исследования.

Как сформировать группу экспертов?

Центральный среди всех критериев отбора экспер­тов — их компетентность. Для ее определения применимы, с той или иной степенью точности, два метода:

1) самооцен­ка экспертов.

Наиболее простая и удобная форма самооценки экс­пертов— совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями «высокий», «средний», «низкий»; При этом первой позиции приписывается число­вое значение «1», второй — «0,5», третьей — «0». В таком случае совокупный индекс — коэффициент уровня ком­петентности эксперта вычисляется по формуле:

k1+k2+k3

К=----------------

где k1 —числовое значение самооценки экспертом уровня своих теоретических знаний, k2 — числовое значение само­оценки 'практического опыта и k3 — числовое значение самооценки способности к прогнозу.

При отборе экспертов методом самооценки возникает проблема ее завышения;

2) метод «снежного кома».

А также существуют методы объективных оценок компетентности экс­пертных таблиц и анкет, случайного отбора и др.

Опросы компетентных лиц именуются экспертными, а результаты опросов — экспертными оценками.

В наиболее общем виде можно выделить три основные функции метода экспертной оценки в социологическом ис­следовании: прогноз тенденций развития различных яв­лений и процессов социальной действительности; оценку степени достоверности данных массовых опросов; аттестация коллектива (или его членов) по уровням трудовой активности, политической сознательности, нравственной зрелости и т. д.

В процессе экспертных опросов реализуется целый ряд методов, которые можно разделить на очные и заочные. К очным методам от­носятся в первую очередь свободное интервью и «мозговая атака» («мозговой штурм»).

Используя метод свободного интервью, социолог лично обращает­ся к эксперту, не имея жесткого, заранее составленного плана беседы. В этом случае интервью приобретает разведывательный характер, с его помощью уточняются некоторые теоретические аспекты пробле­мы, интерпретируются понятия и выявляются основные линии иссле­дования. Для решения этих задач привлекаются эксперты в количест­ве не более 10—15 человек. Здесь нужно отдавать себе отчет в том, что узких специалистов по изучаемой проблеме не так-то много и назван­ного количества вполне достаточно для достижения цели.

Что касается метода «мозговой атаки», то он предполагает коллек­тивную очную деятельность экспертов. Этот метод очень сложен в ор­ганизационном плане, поскольку собрать группу специалистов — лю­дей очень занятых — в одно время и в одном месте не так-то просто. Но он может быть весьма эффективным. Выдвижение и коллективное обсуждение предложений по решению той или иной проблемы при возможности свободного высказывания самых неожиданных идей, обмена мнениями, творческой дискуссии, конечно, весьма плодотвор­но. Особенно эффективен этот метод тогда, когда проблема мало изу­чена и стоит задача поиска путей ее исследования и решения.

Заочные методы, в отличие от очных, проще и дешевле, но их эф­фективность и надежность не столь высоки. К заочным методам отно­сятся: написание материалов в виде докладной записки эксперта; анке­тирование с помощью рассылаемых опросных листов; метод Дельфи; метод шкальных оценок. Остановимся коротко на каждом из них.

Экспертная оценка, содержащаяся в докладной записке специалис­та, базируется на анализе проблемы (процесса, явления) и тщательно готовится экспертом. Она (оценка) может быть использована социоло­гом для определения круга исследовательских задач, требующих свое­го решения.

Рассылаемый экспертам опросный лист представляет собой пере­чень вопросов с просьбой дать развернутые письменные ответы на них в свободной форме (по сути, это как открытые вопросы анкеты). Однако уровень возвращаемости анкет при использовании этого метода не всегда высок. Опросный лист может содержать вопросы и формализованного характера. В этом случае подученная информация подлежит не только качественному, но и количественному анализу

Дельфийский метод (разработан в США в 1950-х гг.) представляет собой многократный экспертный опрос одной и той же группы людей. На каждом последующем этапе экспертов знакомят с результатами пре­дыдущего, при этом просят обосновать свою точку зрения, если она сильно отличается от остальных. Экспертные оценки даются по специ­ально разработанным шкалам. Крайние оценки и их мотивировка об­суждаются всеми участниками опроса. Групповая экспертная оценка считается надежной при условии согласованности ответов опрашивае­мых. Этот метод характеризуется анонимностью, регулируемой обрат­ной связью, статистически обоснованными результатами

Метод шкальных оценок подразумевает применение различных специально разработанных шкал для количественной оценки информа­ции, полученной при анкетном опросе экспертов. Построение шкалы оценок, хотя и представляет собой сложную задачу и требует математи­ческой обработки, может дать ценную аналитическую информацию об экспертных оценках.

Методы анализа экспертных оценок. Применение различ­ных М. а. э. о. дает возможность как получения обобщенных данных, позволяющих определить групповое мнение экспер­тов, так и получения новой информации, содержащейся в ла­тентной форме в экспертных оценках. Выбор конкретного метода анализа зависит от выбора метода измерения эксперт­ных оценок.

Экспертное оценивание используется в решении плохо фор­мализуемых проблем, которые условно можно разделить на два класса. К первому относятся проблемы, обеспеченные до­статочным количеством информации. В оценивании проблем первого класса эксперт рассматривается как хороший изме­ритель, а групповое решение экспертов близко к истинному решению проблемы. Для анализа экспертных оценок проблем первого класса применяется математическая статистика, пред­оставляющая широкий набор методов.

В большинстве прикладных исследований проблем первого класса экспертные оценки используются для выделения су­щественных факторов и их ранжирования либо для ранжи­рования самих объектов оценивания. Для анализа таких оце­нок используют методы ранговой корреляции, позволяющие определить степень согласованности мнений экспертов и мето­ды построения обобщенной ранжировки, дающие возможность либо прямым путем формировать матрицу обобщенных ранжировок, либо путем перехода от матрицы ранжировок к мат­рице парных сравнений.

Использование парных и множественных сравнений дает возможность применения техники проверки согласованности в духе дисперсионного анализа и полу­чения результирующего предпочтения в шкале порядка.

Балльное оценивание имеет естественным завершением воз­можность получения различных вариантов средних эксперт­ных оценок.

В оценивании проблем второго класса экспертные оценки получаем либо в вербальной форме, либо в виде вероятно­стных оценок. В этом случае возникает необходимость пред­варительного анализа неоднородности экспертной группы, по­скольку средние, центральные оценки могут утратить содер­жательный смысл, оказаться хуже индивидуальных или груп­повых оценок. Анализируется распределение экспертов в мно­гомерном пространстве признаков. Каждый эксперт в этом пространстве может быть представлен точкой с координата­ми, соответствующими его оценкам признаков.

Вербальные экспертные оценки исследуются традиционны­ми методами анализа документов.

Вероятностные экспертные оценки могут быть получены и обработаны методом анализа на проблемных сетях, позволя­ющего говорить на одном языке о проблемах как количествен­ных, так и качественных, как хорошо, так и плохо структу­рируемых. Метод анализа на проблемных сетях дает возможность включения в исследование формальных моделей, что расширяет пути применения компьютерных средств. Исполь­зование этого средства анализа позволяет осуществить пере­ход от сгенерированных условных экспертных оценок к безусловным.

В ситуации формирования экспертных оценок при наличии априорной и апостериорной информации используется байе­совский подход, позволяющий определить вероятности при обратном анализе, когда рассчитывается вероятность опреде­ленного исхода для раннего из двух зависимых событий при данном исходе второго события, что особенно важно в социо­логических исследованиях, когда мы диагностируем различ­ные социальные изменения, не имея возможности точного ука­зания их причин;