Обоснование шкалы увлеченности телевидением по независимому критерию
(4) Использование метода судей для отбора пунктов шкалы. Сомнения в обоснованности возникают уже на стадии первоначального отбора пунктов шкалы. В каких единицах считать время просмотра телепередач? В днях, часах, в частоте просмотров? Какие понятия выбрать для построения шкалы? Эти вопросы лучше всего доверить решению компетентных судей. В нашем случае ими являются типичные телезрители» которые будут представлять как бы микромодель основной массы опрашиваемых. В этом смысле "судейство" как способ контроля обоснованности шкалы надо отличать от опроса экспертов — профессиональных специалистов в данной области. Численность судей зависит от меры однородности или разнородности выборочной совокупности основного обследования. Так, при построении шкал на отношение к досуговым занятиям мнения мужчин и женщин об одних и тех же занятиях будут существенно разными. Рекомендуется отобрать для судейства половину судей из женщин, половину — из мужчин. Не меньшее значение в данном случае будут иметь уровень образования и род занятий. Для компоновки судейской группы используют метод квоты, т. е. устанавливают пропорции судей по набору существенных признаков, включая, например, пол, возраст, образование, выражающих позиции разных групп респондентов в предполагаемой выборке.8 О квотировании выборки см. на с. 349.
(5) Один из широко используемых приемов внутреннего контроля обоснованности — совмещение нескольких показателей для регистрации определенного одного свойства, или построение индекса. Типы индексов крайне разнообразны. Они широко используются в психологических тестах, в социально-экономических исследованиях. Суть индексной обоснованности в том, что, согласно гипотезе, данному свойству находится множество его проявлений, для каждого из которых формируют отдельную шкалу. Затем измерения по частным шкалам либо суммируются, либо из них образуют логические конструкции, как это было сделано в показателе "логический квадрат" для построения производной шкалы удовлетворенности работой (см. с. 261). Вполне справедливо выделяют два существенно разных аспекта обоснованности: теоретический и эмпирический. Первый непосредственно связан с содержательными посылками исследования и предполагает установление значимых связей с широким классом ситуаций, предсказываемых теорией, второй требует доказательства надежной регистрации данных в сравнительно узком секторе, в частном проявлении изучаемых объектов. "Если валидность (синоним обоснованности. — Е.Я.)эмпирическую через измерение обеспечивают, — (включает В. И. Паниотто, — то валидность теоретическую только проверяют, т. е. уточняют область валидности методики, границы интерпретации получаемых материалов" [200. С. 109]. Устойчивость измерения выражается в однозначности информации, которую мы извлекаем с помощью данной процедуры. Нередко устойчивость ошибочно отождествляют с надежностью процедуры в целом. И хотя последняя зависит не только от устойчивости, но также от обоснованности и правильности операций, подобное смешение не случайно: проверка инструмента на устойчивость — важнейшее условие его надежности. 1) Наиболее распространенный прием контроля на устойчивость — повторное измерение. Один и тот же объект измеряется дважды с двух-трехнедельным временным интервалом и с помощью одинаковой процедуры. Шкала считается устойчивой, если совпадения между первой и второй сериями измерений будут достаточно высокими. В отличие от проверки на устойчивость измерения физических объектов социолог или психолог сталкивается здесь с особой проблемой — влиянием психологической установки человека, возникающей после первого замера. Люди могут намеренно или непроизвольно подгонять данные второго замера к предыдущим. Или же, напротив, интуитивно сопротивляясь повторному эксперименту, они покажут новые результаты.
Таблица 2 Сравнение данных двух последовательных замеров: оценка совпадения (+) и несовпадения (—) результатов в дихотомической шкале
Чтобы устранить такой дефект, используют контрольную группу (см. гл. 5, С. 357—361). Простейший же способ снять влияние установки первого замера — производить повторный замер спустя достаточное время после первого (например, две недели) и на достаточно большой выборке испытуемых (около 50 человек). Составив таблицу замеров для всех обследуемых, мы далее анализируем, какова общая устойчивость данных и от чего зависят отклонения между двумя замерами (табл. 2, пример Г. И. Саганенко). При повторных измерениях используют различные оценки устойчивости данных, одна из которых — это процент полных совпадений ответов на серию вопросов в двух последовательных пробах методики. Соответствующая формула:
где в числителе п — количество полностью совпавших пар ответов, а в знаменателе Л7 — общая численность испытуемых, р — процент устойчивости. По этой формуле, для примера, в табл. 2 получим:
Таблица 3 Сравнение данных двух последовательных замеров в трехчленной шкале (N=28 чел.)
Другим весьма полезным показателем полной устойчивости является мера сдвига, оцененная как среднеарифметическая ошибка различения градаций шкалы. Этот показатель обозначает, какую долю градации данной шкалы (в среднем) все испытуемые как бы не улавливают, т. е. каковы истинные границы различения градаций. Например, уточним среднеарифметическую ошибку в различении трехчленной школы согласия — несогласия с каким-то суждением (пусть это будет суждение о привлекательности некоторого занятия на досуге). Приведем схему (табл. 3) и расчеты, используя данные таблицы Г. И. Саганенко. В испытании участвуют 28 человек, из которых 17 полностью повторяют свои оценки данного занятия в обеих пробах (сумма по диагонали схемы: 7+6+4 = 17), а остальные 11 испытуемых дают разные ответы в двух пробах. Для оценки искомой ошибки вычисляем отличия ответов респондентов как сдвиги между II и I пробами, например, во II пробе из тех, кто в I пробе ответил "занятие привлекательно", 3 человека сообщили, что оно "не очень привлекательно", т. в. это разность (2—1) 3. Теперь суммируем все разности в ответах и получим меру среднеарифметической ошибки различения пунктов градации данной шкалы:
Значит, среднеарифметический "сдвиг" в оценке по трехчленной шкале составляет около 40% одного ее деления, т. е. менее половины деления, что в общем можно признать удовлетворительным, хотя и не идеальным. (Ниже, говоря о правильности измерения, мы покажем, как можно было бы уменьшить эту ошибку.) Рассматривая устойчивость как воспроизводимость результатов измерений, можно использовать и иные показатели ее меры [200. С. 33—34], например, обычные расчеты корреляции итогов двух последовательных измерений. Показатели, рекомендуемые Г. И. Саганенко, представляются нам вполне адекватными и наглядными. Какая же мера устойчивости удовлетворительна? Это Зависит от существа измеряемого свойства, его значимости для целей и задач исследования. В принципе для немногочленной шкалы среднеарифметическая ошибка различения градаций в 40% ее деления невысока, а соответствующая мера устойчивости (100%—40% =60%) вполне достаточна, ибо не перекрываются границы меж-ДУ двумя соседними интервалами шкалы. Если неустойчивость составила не 40%, а 60%, т. е. более половины деления шкалы, то ошибка была бы явно недопустима, ибо в среднем испытуемые не различают две соседние Градации из трех. Для многочленных шкал, например из 10 градаций, ошибка в 60% одного деления не слишком велика, так как перекрываются два деления из 10, т. е. не 2/3, а 0,2 общей "длины" шкалы. Бели при обработке данных градации укрупнить, объединяя две соседние, то ошибка минимизируется до вполне уверенного уровня устойчивости. Помимо показателей полной устойчивости шкалы, возможны также показатели ее относительной устойчивости. Они полезны при сравнении разных шкал, например для выбора из нескольких вариантов наиболее правильной и точной шкалы (о чем говорится ниже в этом же разделе) или для того, чтобы сопоставить уровни устойчивости измерения разных свойств, каждое из которых фиксируется шкалами разного типа и разной степени дробности. Но прежде всего показатели следует соотносить с уровнем реальной стабильности — изменчивости изучаемого объекта, измеряемых свойств. 2) Использование нескольких лиц для измерения данного свойства. Случается, что шкала неустойчива потому, что ее пункты произвольно интерпретируются самими исследователями. В особенности это характерно для шкал качественной классификации объектов. В таких (номинальных) шкалах группы объектов классифицируют с помощью описания всех качественных признаков, по которым каждый объект относится к определенному пункту шкалы — классу. Предположим, что выделено несколько признаков (с соответствующими индикаторами) для отнесения политической деятельности в высшую категорию по уровню активности. Чтобы выполнить эту операцию однозначно, нужно убедиться, что признаки ясно различимы и при соотнесении видов деятельности с пунктами шкалы не возникает путаницы. Скажем, такими признаками были: членство или заявленная принадлежность к какой-либо партии, движению, избирательному блоку, регулярность участия в его акциях (собраниях и публичных выступлениях, участие в голосовании на выборах и т. д.). В этом случае объект идентифицируют одновременно несколько (минимум трое) лаборантов, использующих единую процедуру. Если данные, полученные разными лаборантами (в нашем примере они работали с текстами интервью), высоко согласуются, шкала устойчивая, если нет — неустойчивая, и мы начинаем искать другую, более приемлемую размерную величину. Причина неустойчивости шкалы — плохой отбор индикаторов. 3) Наконец, третий прием контроля эталона измерения на устойчивость — "расщепление шкалы". Шкала раздваивается на две половины. Если окажется, что измерения по каждой из них совпадают, их можно рассматривать как равноценные шкалы, суммировать данные и впредь пользоваться одновременно обеими половинами, образующими теперь единую и более надежную шкалу, чем каждая из ее составляющих. Покажем технику "расщепления" не примере. Возьмем объектом измерения уровень удовлетворенности рабочего своей специальностью. Данные получаем путем анкетного опроса. Проектируем две шкалы, пункты которых будут отвечать одному из пяти уровней удовлетворенности специальностью (схема 5). Каждому уровню соответствуют два суждения. Нечетные пункты образуют одну, а четные — другую половину испытываемой шкалы. Далее производим следующие операции: (а) все 10 пунктов четной и нечетной половин перетасовываются в произвольном порядке; б) опрашиваемым предъявляют набор из 10 суждений с просьбой указать свое согласие или несогласие по каждому из них; (в) после опроса достаточной группы лиц (около 50 человек) из числа обследуемой совокупности данные группируются по двум шкалам раздельно: по нечетной половине — (a1), (b1), (с1), (d1), (e1) и по четной шкале — (a2), (b2), (с2), (d2), (е2). Основная операция — (г) сопоставление итогов измерения по двум половинам испытываемой шкалы. Если корреляция между ними будет достаточно высока, эти половины можно рассматривать как части единого инструмента, измеряющего общий континуум свойств, В случае необходимости "выпадающие" суждения следует переформулировать, чтобы получить приемлемую корреляцию. В таком случае итоговую шкалу образуют все 10 суждений, которые в случайном порядке предъявляются общим списком. В итоговый показатель для данного лица суммируются все баллы суждений, с которыми он выразил согласие. Обозначив ранжированные пункты баллами от 5 (для al и аа — высшая оценка) до 1 (в, и е3 — низшая оценка), предположим, что некий субъект выразил согласие с пунктами а1+&2, отвергнув все остальные. Его суммарный балл по шкале равен 5+4=9. Точность и правильность измерения зависят от (а) степени устойчивости измеряемого объекта или свойства, (б) чувствительности эталона измерения (дробности пунктов шкалы), (в) отсутствия систематических ошибок измерения и, конечно, (г) от устойчивости измерения. Социальные объекты, подлежащие измерению, обладают различной степенью устойчивости. Скажем, установление состояния удовлетворенности какой-то деятельностью будет заведомо менее точным, чем регистрация частоты поведенческих актов. В первом случае сам объект измерения нестабилен. В дурном настроении человек может выражать недовольство рекламой на телевидении, а в хорошем расположении духа он будет уверять, что рекламные ролики бывают очень забавными и даже поучительными. Но вряд ли его настроение отразится на информации о том, как часто он выключает телевизор при трансляции рекламы или переключается на другую программу. Дробность метрики — чувствительность шкалы — прямо связана с точностью измерения. Шкала в 10 делений измеряет точнее, чем в 5 или 3 деления. Но дробность пунктов шкалы нельзя увеличивать беспредельно. Надо установить оптимум, удовлетворяющий двум требованиям: максимум градаций шкалы при условии высокой устойчивости результатов измерения. Постепенно повышая дробность эталона измерения и параллельно проверяя шкалу на устойчивость, мы найдем границу, за пределами которой дальнейшее повышение дробности влечет понижение устойчивости. Это и есть оптимум чувствительности шкалы с учетом меры устойчивости измеряемого свойства. Таким образом, достижение устойчивых данных при максимальной дробности метрики повышает точность измерения. Оно будет удовлетворительно точным, если абсолютная ошибка измерения не превышает 0,5 деления шкалы. Вместе с тем, если ошибка вообще отсутствует | X j =0, то не исключено, что шкала обладает заниженной чувствительностью (особенно в случаях, когда мы предполагаем достаточную вариабельность измеряемого свойства). Но измерение может быть вполне точным и вместе с тем... неправильным, постоянно воспроизводя какую-то систематическую ошибку, как это случается с испорченным термометром, в котором ртутный столбик изначально был фиксирован на неверной исходной отметке и постоянно завышает температуру, скажем, на 0,8 градуса. При квантификгГции социальных характеристик проблема правильности, т. е. отсутствия уклонений от истинного значения измеряемого свойства, намного сложнее, ибо часто мы в принципе не способны установить, каковы же эти истинные значения измеряемых свойств (скажем, мнений людей по каким-то вопросам). Мы можем лишь, сопоставляя разные способы фиксирования данного свойства, добиваться устранения замеченных систематических ошибок. Каковы же эти систематические ошибки? Одна из возможных — отсутствие "разброса" информации по шкале вследствие того, что какие-то ее пункты "не работают", т. е. не реагируют на определенное состояние измеряемого свойства. Например, при опросе все ответы концентрируются в позитивном или только в негативном полюсе шкалы. Конечно, это может быть и результатом единодушия оценок, но может быть и результатом того, что сама шкала неудачна, например, содержит какой-то пункт, сформулированный с сильным нормативным давлением на опрашиваемых. Допустим, задан вопрос об употреблении алкоголя, и крайне негативный вариант ответа гласит: "Я пью систематически и обычно до бесчувственного состояния". Сомнительно, чтобы даже заведомый алкоголик отметит такой пункт как показатель своего отношения к спиртному. Скорее всего, он выберет суждение не столь резкое, например: "Я выпиваю довольно часто". Крайне отрицательный пункт шкалы здесь "не работает*': он отпугивает. Вследствие этого шкала неправильна. Другой причиной неправильности может быть плохая различительная способность соседних пунктов шкалы высокой дробности. Попробуйте, например, упорядочить свое отношение к 24 политикам так, чтобы уверенно указать не только приемлемого и решительно отвергаемого, но всех оставшихся из предложенного перечня расположить так же аккуратно и уверенно в порядке убывания их привлекательности. Психологически это просто невозможно, так что "срединная" часть этой так называемой ранговой шкалы будет крайне сомнительной, а вся шкала веточной и неправильной. Систематическая ошибка, скорее всего, скажется на том, что приемлемые политические деятели будут отмечаться как более привлекательные (хотя не исключено, что фактически данные лица ими не интересуются), а социально неприемлемые будут попадать в нижние уровни ранжированного ряда.9 9 В данном случае для повышения надежности измерения используются операции, описываемые иа с. 103—104.
Во всех подобных случаях опытная проверка шкалы на устойчивость данных обнаружит ошибки. Но часто это показывает уже первая проба. Правильность и точность измерения можно повысить путем расчета относительной ошибки измерения.10 10 Подробнее ем. [231. С. 63—66].
Относительная ошибка позволяет сопоставлять правильность замеров по двум и более шкалам разной чувствительности и таким путем отработать оптимальный инструмент. Напомним, что, в отличие от абсолютной, относительная ошибка исчисляется не в долях погрешности деления шкалы, а в соизмеримом, определенным образом нормированном показателе.
Приведен пример расчета относительной ошибки измерения. Предположим, что в семичленной шкале оценок фиксируется намерение женщин иметь детей. В обследовании участвуют 100 молодых замужних женщин, которые дали следующие ответы на вопрос: "В какой мере Вы согласны с тем, что было бы желательно иметь ребенка?"
Полюса шкалы интерпретируются, а промежуточные пункты не имеют словесной интерпретации.
При некотором навыке и достаточном исследовательском опыте мы часто интуитивно угадываем, какова должна быть дробность метрики, обеспечивающая устойчивую информацию. Но, приступая к измерению сложных объектов, с которыми ранее не приходилось сталкиваться, социолог должен проделать ряд экспериментов, отрабатывая шкалу на точность и правильность.
Оценки 3, 2 и 1 (крайне негативное отношение к суждению) встречаются очень редко, и эту часть шкалы можно признать плохо работающей: в сумме здесь сосредоточено менее 5% всех ответов. Большинство женщин либо явно хотели иметь детей, либо не очень в этом уверены, и почти нет таких, кто отвергает идею иметь ребенка. Значит, в нашей шкале работают градации 7, 6, 5 и 4, где 4 фактически наиболее негативная установка. Диапазон работающей части шкалы: 7-4=3. Относительная ошибка данной шкалы определяется предложенной Г. И. Саганенко формулой:
где w — оценка полной устойчивосвости шкалы, л зон реально работающей ее части. Проверив шкалу на устойчивость, как было описано выше, мы, предположим, получили значение ц)=0,75, т.е. 75% полного совпадения ответов в двух последовательных пробах, что определенно недостаточно.
Теперь испробуем на устойчивость пятичленную и трехчленную шкалы, задавая тот же вопрос аналогичной (или той же самой) группе испытуемых в 100 человек. Допустим, что мы получим такие распределения (табл. 4), Как видно, в пятичленной и трехчленной шкалах работают все градации, так что в негативной зоне оказывается соответственно 25% и 32% ответов (сравните с семибалльной шкалой, где в этой зоне менее 50%). Показатели полной устойчивости двух последних шкал, проверенные повторными опросами, допустим, дали соответственно 0,95 и 0,99 (в семибалльной — 0,75).
Таблица 4
|
. полной устойчивости исходных данных. Однако ее можно повысить, заменив некоторые пункты, в частности пункт 3. по которому обнаружен наибольший разброс (всего лишь 50% совпадений). Основной критерий устойчивости информации — анализ данных по отроке. Если анализировать эти итоги по колонкам, найдем, что некоторые субъекты (В и Г особенно) дали большой разброс, а некоторые (А и Б) — почти не дали разброса. Те пункты шкалы, в которых обнаружено несовпадение даже у весьма "устойчивых" субъектов, должны быть переформулированы.
