Д) метод экспертных оценок
В практике идеологической работы могут возникать ситуации, когда для оценки какого-либо явления трудно либо вообще невозможно выделить объект — носитель проблемы и, соответственно, использовать его в качестве источника информации. Чаще всего такие ситуации связаны с попыткой прогнозировать изменение того или иного социального явления, процесса; с необходимостью представить состояние интересующего предмета через один, два, пять и более лет или дать объективную оценку таким сторонам деятельности и качествам людей, по которым их самооценка может оказаться искаженной. Подобная информация может исходить только от компетентных лиц — экспертов, имеющих глубокие знания о предмете или объекте исследования. Как сформировать группу экспертов? Центральный среди всех критериев отбора экспертов — их компетентность. Для ее определения применимы, с той или иной степенью точности, два метода: 1) самооценка экспертов. Наиболее простая и удобная форма самооценки экспертов— совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями «высокий», «средний», «низкий»; При этом первой позиции приписывается числовое значение «1», второй — «0,5», третьей — «0». В таком случае совокупный индекс — коэффициент уровня компетентности эксперта вычисляется по формуле: k1+k2+k3 К=---------------- где k1 —числовое значение самооценки экспертом уровня своих теоретических знаний, k2 — числовое значение самооценки 'практического опыта и k3 — числовое значение самооценки способности к прогнозу. При отборе экспертов методом самооценки возникает проблема ее завышения; 2) метод «снежного кома». А также существуют методы объективных оценок компетентности экспертных таблиц и анкет, случайного отбора и др. Опросы компетентных лиц именуются экспертными, а результаты опросов — экспертными оценками. В наиболее общем виде можно выделить три основные функции метода экспертной оценки в социологическом исследовании: прогноз тенденций развития различных явлений и процессов социальной действительности; оценку степени достоверности данных массовых опросов; аттестация коллектива (или его членов) по уровням трудовой активности, политической сознательности, нравственной зрелости и т. д. В процессе экспертных опросов реализуется целый ряд методов, которые можно разделить на очные и заочные. К очным методам относятся в первую очередь свободное интервью и «мозговая атака» («мозговой штурм»). Используя метод свободного интервью, социолог лично обращается к эксперту, не имея жесткого, заранее составленного плана беседы. В этом случае интервью приобретает разведывательный характер, с его помощью уточняются некоторые теоретические аспекты проблемы, интерпретируются понятия и выявляются основные линии исследования. Для решения этих задач привлекаются эксперты в количестве не более 10—15 человек. Здесь нужно отдавать себе отчет в том, что узких специалистов по изучаемой проблеме не так-то много и названного количества вполне достаточно для достижения цели. Что касается метода «мозговой атаки», то он предполагает коллективную очную деятельность экспертов. Этот метод очень сложен в организационном плане, поскольку собрать группу специалистов — людей очень занятых — в одно время и в одном месте не так-то просто. Но он может быть весьма эффективным. Выдвижение и коллективное обсуждение предложений по решению той или иной проблемы при возможности свободного высказывания самых неожиданных идей, обмена мнениями, творческой дискуссии, конечно, весьма плодотворно. Особенно эффективен этот метод тогда, когда проблема мало изучена и стоит задача поиска путей ее исследования и решения. Заочные методы, в отличие от очных, проще и дешевле, но их эффективность и надежность не столь высоки. К заочным методам относятся: написание материалов в виде докладной записки эксперта; анкетирование с помощью рассылаемых опросных листов; метод Дельфи; метод шкальных оценок. Остановимся коротко на каждом из них. Экспертная оценка, содержащаяся в докладной записке специалиста, базируется на анализе проблемы (процесса, явления) и тщательно готовится экспертом. Она (оценка) может быть использована социологом для определения круга исследовательских задач, требующих своего решения. Рассылаемый экспертам опросный лист представляет собой перечень вопросов с просьбой дать развернутые письменные ответы на них в свободной форме (по сути, это как открытые вопросы анкеты). Однако уровень возвращаемости анкет при использовании этого метода не всегда высок. Опросный лист может содержать вопросы и формализованного характера. В этом случае подученная информация подлежит не только качественному, но и количественному анализу Дельфийский метод (разработан в США в 1950-х гг.) представляет собой многократный экспертный опрос одной и той же группы людей. На каждом последующем этапе экспертов знакомят с результатами предыдущего, при этом просят обосновать свою точку зрения, если она сильно отличается от остальных. Экспертные оценки даются по специально разработанным шкалам. Крайние оценки и их мотивировка обсуждаются всеми участниками опроса. Групповая экспертная оценка считается надежной при условии согласованности ответов опрашиваемых. Этот метод характеризуется анонимностью, регулируемой обратной связью, статистически обоснованными результатами Метод шкальных оценок подразумевает применение различных специально разработанных шкал для количественной оценки информации, полученной при анкетном опросе экспертов. Построение шкалы оценок, хотя и представляет собой сложную задачу и требует математической обработки, может дать ценную аналитическую информацию об экспертных оценках. Методы анализа экспертных оценок. Применение различных М. а. э. о. дает возможность как получения обобщенных данных, позволяющих определить групповое мнение экспертов, так и получения новой информации, содержащейся в латентной форме в экспертных оценках. Выбор конкретного метода анализа зависит от выбора метода измерения экспертных оценок. Экспертное оценивание используется в решении плохо формализуемых проблем, которые условно можно разделить на два класса. К первому относятся проблемы, обеспеченные достаточным количеством информации. В оценивании проблем первого класса эксперт рассматривается как хороший измеритель, а групповое решение экспертов близко к истинному решению проблемы. Для анализа экспертных оценок проблем первого класса применяется математическая статистика, предоставляющая широкий набор методов. В большинстве прикладных исследований проблем первого класса экспертные оценки используются для выделения существенных факторов и их ранжирования либо для ранжирования самих объектов оценивания. Для анализа таких оценок используют методы ранговой корреляции, позволяющие определить степень согласованности мнений экспертов и методы построения обобщенной ранжировки, дающие возможность либо прямым путем формировать матрицу обобщенных ранжировок, либо путем перехода от матрицы ранжировок к матрице парных сравнений. Использование парных и множественных сравнений дает возможность применения техники проверки согласованности в духе дисперсионного анализа и получения результирующего предпочтения в шкале порядка. Балльное оценивание имеет естественным завершением возможность получения различных вариантов средних экспертных оценок. В оценивании проблем второго класса экспертные оценки получаем либо в вербальной форме, либо в виде вероятностных оценок. В этом случае возникает необходимость предварительного анализа неоднородности экспертной группы, поскольку средние, центральные оценки могут утратить содержательный смысл, оказаться хуже индивидуальных или групповых оценок. Анализируется распределение экспертов в многомерном пространстве признаков. Каждый эксперт в этом пространстве может быть представлен точкой с координатами, соответствующими его оценкам признаков. Вербальные экспертные оценки исследуются традиционными методами анализа документов. Вероятностные экспертные оценки могут быть получены и обработаны методом анализа на проблемных сетях, позволяющего говорить на одном языке о проблемах как количественных, так и качественных, как хорошо, так и плохо структурируемых. Метод анализа на проблемных сетях дает возможность включения в исследование формальных моделей, что расширяет пути применения компьютерных средств. Использование этого средства анализа позволяет осуществить переход от сгенерированных условных экспертных оценок к безусловным. В ситуации формирования экспертных оценок при наличии априорной и апостериорной информации используется байесовский подход, позволяющий определить вероятности при обратном анализе, когда рассчитывается вероятность определенного исхода для раннего из двух зависимых событий при данном исходе второго события, что особенно важно в социологических исследованиях, когда мы диагностируем различные социальные изменения, не имея возможности точного указания их причин;
|