Головна сторінка Випадкова сторінка КАТЕГОРІЇ: АвтомобіліБіологіяБудівництвоВідпочинок і туризмГеографіяДім і садЕкологіяЕкономікаЕлектронікаІноземні мовиІнформатикаІншеІсторіяКультураЛітератураМатематикаМедицинаМеталлургіяМеханікаОсвітаОхорона праціПедагогікаПолітикаПравоПсихологіяРелігіяСоціологіяСпортФізикаФілософіяФінансиХімія |
ВЕРХОВНОЇ РАДИ УКРАЇНИДата добавления: 2015-10-19; просмотров: 1789
Для выяснения общественного мнения сегодня принято задавать вопросы. Большие совокупности людей без применения выборочных методов и статистических обобщений просто так не охватишь. По существу опросы — всего лишь постановка конкретных вопросов перед отобранными группами людей, если формулировка вопросов и отбор респондентов основаны на научной базе. Но всегда ли мы правильно их задаем, а если нет, то как избежать ошибок и контролировать сам процесс анкетирования? Вопросы, которые не надо задавать Как бы ни был опытен и компетентен социолог, но, не определив исходных принципов, он неизбежно придет к неясным формулировкам вопросов и многозначным, противоречивым ответам, которые трудно интерпретировать. Даже самые безошибочные и на вид простые вопросы требуют тщательной проработки. Недостаточно спросить: «Удовлетворены ли Вы своей работой?» Нужно точно определить, что подразумевается под «работой» (условия или процесс труда, цех, предприятие или рабочее место). Надо быть уверенным, что понятие «удовлетворен» исследователь истолковывает точно так же, как респондент. Даже технические термины типа «фрезерный станок» или «несчастный случай» очевидны только на первый взгляд. Относить ли к «несчастным случаям» бытовые травмы или небольшие повреждения (например, ушиб ноги)? На подобные вопросы социолог обязан ответить до того, как задаст свои вопросы респонденту. Или другой пример — вопрос «Нравится ли Вам музыка?». Его нельзя считать корректным. Слово «нравится» может соответствовать разнообразным чувствам: от тех, которые испытывают великие композиторы и исполнители, когда слушают, пишут или исполняют музыку, до чувств человека, который любит слушать по-360 пулярные песенки, совершая субботние покупки. Подобно этому, термин «музыка» означает огромное разнообразие различных направлений: например, джаз, поп, народная музыка, рок, барокко, доклассическая, классика, романтизм, модерн, неоклассицизм, — а, кроме того, может иметь отношение к слушанию и исполнению, так что идентичные ответы на вопрос могут отражать совершенно различное поведение. Например, «да» для одного респондента может выражать наслаждение от пения контртенора в ранней полифонической венецианской церковной музыке. А для второго оно может заключаться в удовольствии прослушивания мотивчика типа «Танцуй со мной», когда он сидит за рулем своей машины1. Далее мы рассмотрим наиболее типичные ошибки, допускавшиеся советскими социологами при формулировке вопросов анкеты, касавшихся изучения трудовых отношений. Если мы примерно знаем, как надо строить грамотные вопросы, то не всегда еще знаем, как их надо формулировать. Позаимствуем у известного мастера демоскопических опросов Элизабет Ноэль технику комментирования вопросов, но применим ее к анализу их содержания, обобщив типичные ошибки. Вопросы мы брали из реальных анкет, разработанных академическими институтами, кафедрами вузов, социологическими лабораториями пред- приятии разных городов страны в 1970—1980-е гг. Полностью ана- лиз приведен в нашей книге2. Итак, вопросы, которые не надо задавать. 1. Можете ли Вы сказать, что со времени образования объединения на Вашем предприятии (в цехе) произошли заметные, важные для Вас изменения? 01. Да, произошли изменения в лучшую сторону. 02. Изменений заметных не произошло. 03. Произошли изменения в худшую сторону. Комментарий. Фактически здесь два вопроса. Один об изменениях на предприятии, другой — в цехе. Целесообразнее так и по-ступить — сформулировать два вопроса. Подобные вопросы называют двухканальными. Они требуют двух ответов, в результате чего для респондента создаются дополнительные трудности. Например, в одном вопросе ему предлагают оценить уровень цен и удобство расположения магазина. 2. Зависит ли производительность Вашего труда от взаимоотношений в коллективе? 01. Да, хорошие отношения помогают мне в работе. 02. Хорошие отношения помогают работе, но не очень сильно. 03. Отношения на работе не сказываются. Комментарий. Здесь допущено несколько ошибок. Во-первых, выбрана только одна переменная (взаимоотношения), которая должна влиять на производительность. Если в анкете не предусмотрены другие факторы (плохая организация труда, неритмичное снабжение и т.п.), то может сложиться впечатление, что взаимоотношения — самый важный, если не единственный негативный фактор. Во-вторых, в самом вопросе названы просто «взаимоотношения», а в ответах определяется их качество — «хорошие отношения». Но это разные вещи. Наконец, сделана не совсем удачная попытка построить шкалу интенсивности: «помогают», «не очень сильно», «не сказываются». Формулировка вопроса и закрытий неправильная, ее вряд ли можно улучшить, поэтому от такого способа лучше отказаться. 3. Выполняете ли Вы нормы выработки? 01. Да, постоянно. 02. Не всегда выполняю. 03. Не выполняю. 4. Скажите, работаете ли Вы в течение месяца всегда с полной отдачей? 01. Да, всегда работаю с полной отдачей. 02. Не всегда работаю с полной отдачей. 03. Работаю, как правило, не с полной отдачей, мог бы работать лучше. Комментарий. Вопросы на первый взгляд конкретные, деловые. Их относят к фактологическим, и этим своим качеством они нередко обманывают составителей анкет. Спрашивать можно о конкретных явлениях, но получить в результате абстрактную информацию. Что делать с данными о постоянном выполнении нормы выработки или работе с полной отдачей, не ясно. Как интерпретировать подобные факты? Сами по себе они не дают нужной информации, если не дополнены другими вопросами на ту же тему. 5. Как Вы относитесь к специальности, по которой сейчас работаете? 01. Это моя специальность по призванию, менять не собираюсь. 02. Пока намерен работать по этой специальности. Обстоятельства подскажут в дальнейшем, как поступить. 03. Вероятно, изменю специальность, но решение еще не вполне созрело. 04. Твердо решил изменить специальность. 05. Затрудняюсь ответить. Комментарий. Попытка построить пятичленную шкалу интенсивности неудачна. Фактически пункты 02,03 и 05 означают одно и то же, только выражены различными словами. Действительно, все их можно заменить одной позицией — «затрудняюсь сказать», которая обозначает неопределенность решения, его вероятность, 362 несформированность мнения. В преобразованном виде остаются три позиции: «менять не собираюсь», «затрудняюсь сказать», «твердо решил изменить». Альтернатива «затрудняюсь сказать» в большинстве случаев означает среднюю, промежуточную позицию на шкале. 6. Как Вы выполняли свое сменное задание в последние 6 месяцев?
Примечание. В третьей строчке первого столбца в оригинале явная опечатка, к сожалению, оставшаяся незамеченной составителями и размноженная тысячами экземпляров. Комментарий. На первый взгляд этот фактологический вопрос более конкретен, чем сходный с ним вопрос 3 о норме выработки. Однако конкретность здесь чрезмерная, практически не поддающаяся разумной интерпретации. Чрезмерная эмпиричность нередко превращается в свою противоположность — бессмысленную абстрактность. Для интереса попробуйте построить производственный профиль рабочего, который месяц назад выполнял задание (норму) на 100%, три месяца назад — на 90%, шесть месяцев назад — на 110% (пропускаем промежуточные значения), и сказать, чем он отличается от другого рабочего, который справлялся с заданием месяц назад на 110%, три месяца назад— на 100%, шесть месяцев назад — на 100%. Существенная между ними разница или нет и что дает такого рода информация? НакЬнец, для респондента затруднительна табличная форма вопроса. 7. Как Вы оцениваете роль труда в жизни советского человека? 01. Труд — потребность человека, основа утверждения человеческого достоинства. 02. Труд — источник богатства Родины и благосостояния каждого гражданина. 03. В труде формируются гражданские качества личности. 04. В труде человек становится настоящим человеком: мастером своего дела, творцам, личностью. 05. Добросовестный труд расширяет границы свободы и независимости советского человека. 06. Какое-либо другое мнение. 07. Затрудняюсь ответить. 8. Оказываете ли Вы лично бескорыстно помощь товарищам по работе? 01. Да, когда вижу в этом необходимость. 02. Да, когда меня об этом попросят. 03. Не оказываю помощи. Комментарий. Примеры 7 и 8 — образцы демагогических вопросов. Первый составлен, по существу, из газетных передовиц, лозунгов, стереотипов времен застоя. В 60—70-е гг. подобные вопросы были очень распространены. Если вдуматься, то в них ни о чем не спрашивается и не утверждается. Подобные этим риторические вопросы никакой, даже отрицательной, информации не дают. От респондента лишь требуется согласие с общественно одобренными ценностями, и в большинстве случаев горе-исследователь такое согласие получает, но новых знаний не прибавляет. Альтернативы, содержащие негативное отношение к труду, в первом вопросе не даны, они скромно подразумеваются под названием пункта анкеты «Какое-либо другое мнение». И хотя этот вопрос составлен в академическом институте, он не выдерживает никакой критики. Второй вопрос также является лжевопросом. К подобного рода вопросам относится и другой, столь же популярный: «Получаете ли Вы от повседневно выполняемой Вами работы моральное удовлетворение?» Нужно сказать, что распространившаяся в свое время «моральная социология» использовалась для одной цели: приукрашивания действительности. Для целей научного анализа и разработки конструктивных рекомендаций она бесполезна. 9. Если Вас не удовлетворяет существующая система премирования, то почему? 01. Небольшая сумма премий. 02. Неправильно выбраны показатели, за которые начисляется премия. 03. Показатели реальные, но нет условий для их выполнения. 04. Вся система премирования слишком сложна, в ней трудно разобраться. 05. Система премирования неплохая, но ее часто нарушает администрация. Комментарий. Это совершенно другой вопрос, и по-своему он интересный. Во всяком случае, поставлена реальная проблема и предложены пути ее решения в виде устранения причин, указанных в ответе. Респонденту остается выбрать. Однако в таком виде вопрос не срабатывает. Почему? Правильно перечислены объективные недостатки премирования — значит, все они действуют. Тогда зачем выбирать только один? Может случиться, что и сумма премии мала, и показатели начисляются неправильно, и администрация их нарушает, ссылаясь при этом на отсутствие условий. Все вместе это делает систему премирования слишком сложной. Итак, выбраны все пункты, для чего тогда нужен вопрос? Наглядный пример неправильной формулировки приводит в своей статье известный петербургский социолог Г. И. Саганенко. Она позаимствовала его из всесоюзного исследования «Экология» и дала свой комментарий. Вопрос, в котором респонденту нужно было сделать выбор, звучал так: «Какое из следующих суждений в наибольшей степени соответствует Вашему мнению: ♦ природа священна, потому что она создана Богом; ♦ природа священна сама по себе; ♦ природа имеет большое значение, но она не священна; ♦ затрудняюсь ответить?» Здесь не только просматривается «хороший ответ», но фактически предложена одна «альтернатива» — иметь священное отношение к природе (или буквально возражать против него). Для многих людей с вполне определенным отношением к природе ни та, ни другая постановка ответа в принципе не подходят. Существует целая группа вопросов, которые не обязательно включать в анкету, так как необходимую информацию можно взять в отделе кадров или в заводской документации. Например: «Повысился ли в текущем году Ваш заработок?», «Задерживали ли Вам выдачу зарплаты в текущем году?» и т.д. Лишние вопросы, информацию на которые могут дать эксперты или работники заводоуправления, раздражают респондентов, при этом впустую расходуется драгоценное время и место в анкете, наконец, они свидетельствуют о неподготовленности социолога как организатора исследования. Когда составлен план будущего опроса, четко сформулированы темы и сами вопросы, на отдельном бланке надо составить схему источников информации: кто о чем и когда может дать необходимые сведения. Существует определенное правило: меньше заставляйте работать ваших респондентов и не перекладывайте на их плечи те задачи, которые должны решать вы сами. Неясные формулировки вопроса объясняются следующими причинами: 1) некомпетентностью социолога; 2) излишней поспешностью при составлении анкеты; 3) заимствованием чужих вопросов и некритическим к ним отношением; 4) отсутствием хорошо составленной программы, четких целей и задач исследования, неумением операционализировать понятия. Ошибки, допускаемые при формулировании анкетных вопросов, оказывают серьезное влияние на качество получаемых от респондента данных и на последующую интерпретацию их ученым. Наведением методического порядка на опросном фронте первыми занялись американцы в первой половине XX в. Поводом послужили грубые методические просчеты. Классический пример — ошибка в предвыборном прогнозе журнала Literary Digest в 1936 г., составившая 19%. Причины коренились в том, что выборка строилась, во-первых, на номерах телефонов, которые имели далеко не все избиратели, а во-вторых, только на респондентах, пожелавших участвовать в опросе. Но еще больше просчетов оказалось при формулировке вопросов. В том же году группой экспертов проблема формулировки вопроса была названа важнейшей причиной получения недостоверных данных. Самуэль Стауфер назвал ее проблемой Номер Один в социологии. По данным Хо-варда Ховта, 3/4 экспертов указали на формулировку вопросов как на главного виновника искажения данных. Оказывается, помехи, вызываемые другими источниками, скажем неправильной выборкой или неверным методом сбора информации, происходят гораздо реже, нежели искажения переменных, связанных с различными способами формулировки вопроса3. С тех пор американцы придают огромное значение обучению студентов-социологов правилам формулирования анкетных вопросов и их влиянию на распределение ответов. Плох тот социолог, кто со студенческой скамьи не научился грамотно строить анкету. 4.2. Хорошие и устойчивые вопросы Хорошим вопросом принято считать такой, формулировка которого значимо не влияет на распределение ответов при сохранении списка (но не порядка) альтернатив. Методические эксперименты указывают на значительные отклонения, которые могут появиться в связи с изменением формулировки. К примеру, спросить рабочих о том, сколько представителей наемного труда должно быть вовлечено в профсоюзы, можно двумя различными способами: Первый вариант:«Считаете ли Вы, что на предприятии все рабочие должны быть членами профсоюза?» Второй вариант:«Считаете ли Вы, что на предприятии все рабочие должны быть членами профсоюза или каждый в отдельности должен решить, хочет ли он быть членом профсоюза или нет?» На первый взгляд между ними нет принципиальных различий, поскольку спрашивают о профсоюзе как основном институте защиты прав трудящихся. Однако в первом случае подчеркивается факт 366 коллективного участия в профсоюзной борьбе, отлынить от которого либо нельзя, либо неудобно. Любой рабочий, находящийся в поле классового противостояния и солидарно действующий с другими рабочими, никогда не пойдет против профсоюзов, даже если не согласен с его политикой или руководством. Общественное мнение его класса и стереотипа пролетарского сознания подействуют на его выбор императивно, а не сослагательно. Можно ожидать 70— 90%-ного согласия с вопросом, сформулированным таким образом. Однако во втором случае респонденту предоставляется возможность поразмышлять. Коллективной солидарности и классовой сплоченности противопоставлена другая, не менее сильная ценность — американская свобода выбора и высоко ценящийся индивидуализм. Профсоюз как коллективный выразитель солидарной воли пролетариата противопоставлен общенациональному менталитету, и не известно, кто окажется в выигрыше. Во всяком случае, очевидно, что свою историческую схватку с капиталом американские профсоюзы уже проиграли: кривая численности членов профсоюзов в США с каждым годом снижается и сегодня дошла до критической отметки приблизительно 10%. Таким образом, изменение формулировки одного и того же вопроса, приводящее к разным, а в данном случае противоположным результатам, свидетельствует о том, что перед нами анкетный вопрос, который нельзя считать хорошим с методической точки зрения. Смещения в ответах наблюдаются и в других вопросах. Допустим, одну и ту же переменную «занятость в общественном производстве» мы конкретизировали двумя разными путями. Первый вариант:«Предпочли бы Вы иметь работу, если бы это было возможным?» Второй вариант:«Предпочли бы Вы иметь работу или Вы предпочитаете заниматься своим домашним хозяйством?» Как и в рассмотренном выше примере, второй вариант формулировки вопроса содержит свободу выбора: респонденту предлагают наняться на постоянную работу или заниматься своим домашним хозяйством. Оказалось, что, когда в анкету ввели вторую формулировку, распределение ответов изменилось на 50%. Такое смещение надо считать весьма значительным. Выявились и другие, не менее любопытные подробности. Появление второй формулировки снизило число выборов «затрудняюсь ответить» с 36 до 6%4. Видимо, многие, предпочитавшие не наемный труд, а занятость в домашнем хозяйстве, укрылись в рубрике «затрудняюсь ответить» потому, что в первом варианте они не увидели желанной для себя альтернативы, связанной с домашним хозяйством. Правомерно ли говорить о статистической валидности социологических данных, когда появляются такие смещения? Методические исследования, проведенные американскими социологами, выявили ряд тенденций, связанных с формулировкой и формой представления анкетного вопроса. В одном из экспериментов изучалось влияние на распределение ответов порядка расположения альтернатив в вопросе-меню. Что произойдет, если, скажем, альтернативу переместить из начала в конец списка? Всякий раз чаще выбиралась та альтернатива, которая стояла в верхней части или возглавляла список. Расположенные внизу подсказки пользовались меньшим вниманием и выбирались реже. Ученые назвали это явление эффектом начала списка. Как правило, верхняя позиция опережала нижнюю на 4%, а среднюю на 6%; нижняя опережала среднюю позицию примерно на 2%. В результате середина списка как бы проваливалась. Она была наименее заметной, можно сказать, теневой зоной списка альтернатив. В итоге наблюдалось стремление респондентов к выбору альтернатив, находящихся на крайних позициях с некоторым преимуществом верхней позиции. Назовем подобный эффект поляризацией ответов со смещенным верхом. В знаменитом опросе общественного мнения «Правда-76» (рук. Б.А. Грушин) провели любопытный эксперимент: на двух равных выборках в пяти вопросах давали респондентам два типа шкал — прямая и обратная. Порядок альтернатив в них менялся на противоположный, но это было заметно профессионалу и почти неприметно простому человеку.
Что же обнаружили советские социологи? Во-первых, во всех пяти вопросах при прямой шкале процент не ответивших, хотя и незначительно, был ниже, чем при обратной шкале. По всей видимости, прямая шкала воспринималась как более естественная и привычная, процент активности респондентов здесь был выше. Во-вторых, при сравнении двух шкал оказалось, что высказыва-368 ния, стоящие на крайних верхних позициях, т.е. «очень удовлетворен» и «очень не удовлетворен»,набирают большее число ответивших, чем когда они стояли внизу. Таким образом, в шкальных вопросах действовал «эффект начала», существовавший в вопросах-меню. А вот еще один поразительный пример. В нем ученые сравнили две почти одинаковые по сути формулировки анкетного вопроса. Они различались, во-первых, длиной, во-вторых, повторением в самой формулировке того, что говорилось в одном из приданных ему закрытиях. Сравним и мы: Первый вариант:«Считаете ли Вы, что большинство компаний, которые увольняют рабочих в период спада, могли бы организовать что-то для избежания увольнения и предоставления рабочим стабильной работы?» 63% ответили, что компании могли бы избежать увольнения; 28% сказали, что не могли бы; 15% не имели определенного мнения. Второй вариант:«Считаете ли Вы, что большинство компаний, которые увольняют рабочих в период спада, могли бы организовать что-то для избежания увольнения и предоставления рабочим стабильной работы, или Вы считаете, что увольнения неизбежны?» 35% сказали, что компании могли бы избежать увольнений; 41% сказали, что увольнения неизбежны; 24% не сделали выбора. Отличие второго варианта от первого выделено курсивом. Вроде бы оно незначительно, всего лишь одна фраза: или Вы считаете, что увольнения неизбежны? Но как изменилась статистика ответов! Вербализация противоположной точки зрения снизила результат утвердительной части вопроса на 28%5. Кажется, излишним дублировать в постановочной части анкетного вопроса тот текст, который содержится в списке альтернатив к нему. Но так ли это на самом деле, показал упомянутый методический эксперимент. Его мораль такова: если разработчик анкеты в формулировке вопроса называет все точки зрения (позиции, мнения, ценности и т.п.), то их, не пропуская ни одной, следует продублировать в списке закрытий. Список альтернатив должен быть исчерпывающим, если мы хотим закрыть все имеющиеся возможности для ответа и тем самым сбалансировать вопрос. Выше говорилось о том, что признавать хорошим вопросом. Напомним, речь шла о списке альтернатив. Порядок следования альтернатив в списке характеризует другой критерий —устойчивости. Устойчивым вопросом является тот, в котором перемена альтернатив не оказывает значительного влияния. Если перемена альтернатив дает достаточно большой сдвиг, то вопрос считают неустойчивым. Незначительным признан сдвиг в 1—3%. К примеру, если порядок следования альтернатив значительно изменен или даже перевернут, а статистика ответов на него изменилась лишь на 2%, то вопрос считается устойчивым. Колебание разницы в ответах от 4 до 8% признается статистически значимым, а соответствующие вопросы неустойчивыми. Методисты уверяют, что формулировка вопроса влияет на статистику ответов максимальным образом именно тогда, когда у респондентов не сформировалось устойчивого мнения о предмете разговора. Наибольшая длина хорошо уравновешенного или устойчивого вопроса составляет 26 слов, в то время как наименьшая — только 11 слов. Напротив, длина неустойчивых, несбалансированных вопросов варьируется в пределах от 21 до 46 слов. В среднем несбалансированные вопросы в полтора раза длиннее устойчивых: 31 слово к 22. Если считать только слова, используемые в альтернативах, исключая вводную часть или установочные фразы, то и в этом случае указанная пропорция сохраняется. Альтернативные суждения в неустойчивых вопросах в полтора раза длиннее, чем в устойчивых. Таким образом, один из главных элементов устойчивости вопроса заключается в его краткости. Неустойчивые вопросы не только длиннее устойчивых, но содержат грамматически более сложные слова. Отсюда вытекает практический совет социологу: формулируй свои мысли не только кратко, но и просто, иначе проиграешь в качестве получаемой информации. Новый подъем интереса к внутрипрофессиональным делам социологов наблюдался в 1960—70-е гг., когда в США происходило активное обсуждение таких аспектов, как методические особенности использования открытых и закрытых вопросов, влияние альтернатив, порядка их расположения, отсутствия градации «нет ответа» на распределение ответов респондентов и др. из крупных исследовательских центров, которые могут финансировать специальные обследования на достаточно больших выборках (от 1,5 до 2,5 тыс. респондентов), стали появляться многочисленные публикации, обобщающие методический опыт, проекты, наработки. Ученые в таких центрах проводят как специализированные методичес-370 кие эксперименты, «обкатывая» формулировки вопросов из своей, исследовательской копилке, так и вторичный анализ данных, в которых использовались сходные формулировки вопросов. Большая работа была проделана университетами Мичигана и Северной Каролины. Исследование проводилось дважды — в январе и апреле 1979 г. Было выбрано два вопроса, показавших в 1940-х гг. наиболее значимые различия в ответах. Теперь уже был зафиксирован эффект конца списка. Он гласил, что в вопросах, произносимых вслух, респондент чаще выбирает альтернативу, стоящую в конце списка. Возможно, респонденты лучше запоминают слова, услышанные в последнюю очередь. Данные психологических экспериментов свидетельствуют о том же самом. Когда в формулировке вопроса у вас содержатся две идеи, лучше всего респондент запомнит и поймет последнюю. Она же окажется для него более притягательной, а стало быть, и более выбираемой6. В СССР и в России интерес к методической культуре анкетирования был, но не было денег на проведение массовых экспериментов, призванных совершенствовать исследовательский инструментарий. Крупные исследовательские центры, работающие с большими выборками, например ВЦИОМ и ФОМ, могли бы проводить серьезные методические эксперименты, но не проводят. Большинство анкетных вопросов используются ими по многу лет, поскольку они не давали серьезных сбоев; таким образом, сам по себе стаж служит критерием надежности вопроса. Кроме того, частая смена формулировок могла и повредить ученым: вопросы-ветераны, обкатываемые во всех исследованиях, вносят единообразие и позволяют сравнивать данные исследований разных периодов. Зачастую критерием адекватности вопроса (созданного в середине 90-х гг.) остается только доля затруднившихся ответить, и если она невелика (порядка 15-20%), исследователи предпочитают не проводить специальных экспериментов и не менять формулировки. «Менее крупные исследовательские коллективы ориентируются на экономию средств заказчиков, которыми выступают организации, выдающие гранты, или отдельные фирмы. Из-за ограничения бюджета исследования возникают сложности с серьезной апробацией вопросника, которая зачастую не проводится вообще. В результате непилотированные вопросники содержат ошибки, количество которых не поддается исчислению. Некоторые из ошибок, обнаруживаемых даже при логическом анализе вопросов, приводят к серьезным смещениям в полученных данных, хотя способов проверить коммуникативную адекватность и точность формулировки вопроса наработано достаточно много. При этом большинство из них затратны, требуют значительных материальных и временных ресурсов»7. 4.3. «Эффект имени» при формулировке вопросов Специалисты, профессионально занимающиеся методическими экспериментами, давно предупреждают социологов, работающих над конструированием анкет, что респонденты чувствительны к любым, даже малейшим, нюансам в формулировке вопроса. И это представляет для них чрезвычайную опасность. Был составлен особый список так называемых формулировочных эффектов, куда помимо прочего вошли привлекательность средней альтернативы, роль вопросного формата и контекста, влияние эмоционально тонированных слов, в том числе и политико-идеологических ярлыков. Среди них не последнее место, особенно в политических рейтингах, занимает «эффект имени» — влияние на ответ респондента известной фамилии. Еще в середине XX в. на свет появилось методическое правило, согласно которому исследователям при составлении вопросников рекомендуется избегать упоминания авторитетных личностей и организаций. Первыми «эффект имени» в формулировке вопроса обнаружили и изучили в 1930—1940-е гг. американские социологи И. Лодж, С. Стагнер, Д. Рагг и X. Кантрила. Как оказалось, использование в опросах популярных имен ведет к серьезным искажениям результатов. Когда респондентов просили высказаться о необходимости помочь Англии и Франции со стороны США, то многие колебались. Но когда в другой раз добавили фразу «...в их борьбе против Гитлера», число положительных ответов возросло с 13 до 22%8. Аналогичные результаты в 1977 г. получили Г. Шуман и С. Прес-сер. Они провели методический эксперимент, в котором участвовали студенты Мичиганского университета. Результаты получились более чем любопытные. Сравнивались ответы на два почти похожих вопроса об уровне преподавания со стороны профессоров. Только в одном из них в преамбуле к вопросу сообщалось, что пре-372 зидент университета не так давно заявил, что ему якобы нередко' приходится слышать жалобы студентов на низкое качество профессорских лекций. «Эффект имени» не заставил себя ждать: после знакомства с мнением своего ректора мало кто из студентов не захотел с ним согласиться9. Согласно выводам Г. Шумана и С. Прессера, имена известных политиков, встроенные в формулировки вопросов, обладают не только большой эмоциональной силой, но и мощным информационным потенциалом. Они помогают определиться с мнением и избавиться от затруднений при выборе ответа. В 1998 г. социологи из Ивановского госуниверситета (под рук. А.Ю. Мягкова) провели методический эксперимент. Из квотной выборки общим объемом 200 человек, репрезентировавшей взрослое население Иванова по полу, возрасту и роду занятий, были сформированы две одинаковые по численности и выровненные по структуре группы — контрольная и экспериментальная. Первую группу респондентов просили ответить на ряд вопросов, не содержавших в формулировках ссылок на мнения известных российс- ких политиков и государственных деятелей. В анкетах, предлагавшихся второй (экспериментальной) группе, те же самые вопросы-суждения «привязывались» к конкретным фамилиям (Б. Ельцина, В. Жириновского, А. Лебедя и А. Чубайса). Политические высказывания были отобраны из периодических изданий. Данные, полученные в ходе исследования, показывают, что в трех из пяти случаев респонденты все-таки реагировали на известные фамилии. Однако реакции на различных авторов оказались разными. Упоминание в вопросах авторитетных людей, как правило, способствует увеличению поддержки высказываемых ими мнений. В то время как ссылка на одиозную личность, напротив, уменьшает; число сторонников предлагаемых ею идей. Увеличение и уменьшение колебалось в диапазоне от 5 до 12%. Материалы исследо- вания свидетельствуют, что «эффект имени» в социологических опросах встречается довольно часто. Испытуемые нередко меня- ют свои ответы в зависимости от автора высказывания. Нередко имена производят эффект «замещения» источников мнений. Иногда фамилии знаменитостей выполняют образовательную функцию, но чаще способствуют формированию пристрастных политических мнений10. Несмотря на все запреты и предостережения, многие социологи по-прежнему используют престижные имена и названия организаций для идентификации политических позиций. Известное имя, например Жириновского или Явлинского, для респондентов, плохо разбирающихся в политических тонкостях, помогает более ясно сформулировать свои предпочтения. В этой ситуации «эффект имени» выполняет позитивную функцию. Но имя может сыграть негативную роль, если с его помощью оказывается давление на респондента, который не уверен в своем мнении или еще не определился, кого поддерживать. В подобных случаях респондент выбирает не формулировку политической позиции партии, а популярное имя, которое ему нравится. Правда, в прошлом, как отмечают специалисты, именные формулировки использовались гораздо чаще, чем сегодня. 4.4. Ошибки анкетера и контроль поля Социолога-эмпирика почти за каждым углом поджидают разочарования, непредвиденные затруднения, созданные им самим и возникшие не по его вине ошибки. Многие из них относятся к разряду «ошибки выборки». Они рассматриваются в самостоятельном разделе. Здесь мы поговорим о других ошибках, а именно тех, которые связаны не с предварительным этапом, когда рассчитывается выборка, когда совершается, особенно неопытным социологом, масса ошибок, а с проведением самого поля, т.е. полевого исследования. Оно начинается с инструктажа анкетеров (интервьюеров), снабжения их анкетами и распределения анкетеров по объектам. Но самое интересное и непредсказуемое приключение начинается с того момента, когда анкетеры встречаются непосредственно с респондентами — по месту работы, отдыха, жительства. Выявление ошибок, контроль за поведением анкетеров (интервьюеров) и коррекция допущенных ошибок получили название контроля поля. Ошибки, связанные с организацией и проведением поля, в дальнейшем будем называть ошибками поля. Ошибки поля имеют следующие разновидности: 1) ошибки заполнения анкеты; 2) ошибки сбора данных; 3) ошибки обращения с полученными данными; 4) ошибки анализа собранных данных; 5) ошибки интерпретации полученных результатов. Кроме того, существуют ошибки, обусловленные нечетким выявлением проблем, использованием неоднозначных терминов и т.п. Ошибки поля можно разделить на две большие группы: а) ошибки анкетеров (интервьюеров) и б) ошибки респондентов. Кроме 376 371 опрос в данной выборочной совокупности с помощью других анкетеров. Но это в идеале, а на практике — дефицит времени, материальных и людских ресурсов. Кроме того, если одних и тех же людей опросят другие анкетеры, то это не значит, что они дадут те же ответы. Они могут быть другими. Но кто виной тому — более тактичный интервьюер или изменившееся отношение к опросу самих респондентов? В принципе эту погрешность можно было бы уменьшить, увеличив число повторных посещений с трех до восьми-девяти, как делают западные социологи. Однако это привело бы, во-первых, к значительному увеличению расходов на проведение полевых работ, а во-вторых, к увеличению сроков проведения поля, — справедливо полагают Е.В. Козеренко и С.Г. Новиков12. Когда переспросить тех же респондентов другими анкетерами или устранить проблему при помощи повторных посещений нельзя, применяют вторую процедуру — перевзвешивание данных. Суть ее состоит в следующем: с помощью эмпирически найденных весов так скорректировать данные, чтобы влияние смещений снизить до оптимальных пределов. Величина смещения находится либо с помощью экспертного опроса, либо как отклонение средних значений в подвыборках от среднего значения по всему массиву13. Жестких правил в данной области не существует, правила основаны на традициях, опыте и т.п., т.е. на неформальных подходах к определению того, какие анкеты пригодны для последующего анализа, а какие нет. Поэтому лучше ужесточить контроль за сбором данных, уменьшив таким образом проблемы предварительной оценки собранных данных. Наиболее распространенная форма контроля качества работы интервьюера (анкетера) — выборочное повторное посещение респондентов. Контролеры-интервьюеры выясняют, состоялась ли беседа и с кем именно, спрашивают о содержании интервью и впе-чатлении, которое произвел интервьюер. По результатам контроля: поощряются или порицаются интервьюеры, осуществляется выбраковка ненадежных бланков интервью. Другим способом контро-ля может быть почтовая анкета, которая рассылается респондентам, участвовавшим в опросе. В такой анкете присутствуют вопросы, подобные тем, которые задают контролеры-интервьюеры. Фирма «УЛТЕКС Сервис А.О.», проведшая в 1994 г. исследование в Москве и Московской области, Санкт-Петербурге и Ленинградской области, Туле, Владимире и Иваново (всего опрошен 1001 респондент), осуществляла контроль качества информации после проведения опроса, связываясь с 10% опрошенных по телефону и направляя им письма. Полученные опросные листы проверялись также на правильность заполнения. Если судить по литературе, а также информации, доступной в Интернете, большинство компаний, занятых рекламой и маркетинговыми исследованиями, проводит не более чем 10%-ный контроль поля методом повторного посещения или телефонным звонком. Полный, т.е. 100%-ный, контроль практически невозможен, так как он существенно повышает стоимость полевых работ. В компании ГфК МР минимальная начальная квота контроля — 20% интервью, но она может быть увеличена, если клиент готов платить. Контроль проводится повторными посещениями, по телефону и почте. Если в процессе интервью выявляется большое количество ошибок у одного и того же интервьюера, то проводится 100%-ная проверка его анкет. По результатам проверки составляется протокол, и нерадивые интервьюеры штрафуются в меру их нерадивости (до 100% штрафа). С ними компания расстается, а их фамилии заносятся в «черный список». Такая же схема применяется для региональных супервайзеров, но их штрафуют за суммарный процент ошибок в своем регионе14. По результатам работы за определенный период лучшие интервьюеры премируются. Центр бизнес-информации, социологических и маркетинговых исследований BISAM Central Asia, который ориентируется в своей деятельности на международные стандарты ESOMAR, проводит контроль как минимум 25% завершенных интервью по специально разработанным контрольным вопросам; осуществляет визуальный контроль 100% анкет; контроль ошибок ввода с помощью специальных программ. В Аналитическом центре «Бизнес и маркетинг» после завершения исследования проводится обязательная многоступенчатая проверка качества полевых работ. Первым шагом является ручная проверка полноты и качества информации, содержащейся в анкетах, а также выборочная проверка 3-4 анкет каждого интервьюера на наличие «галло-эффекта» (психологический эффект повторяемости ответов на похожие по форме вопросы). На этом этапе контроль осуществляют специально назначенные сотрудники полевого отдела, ответственные за данный проект. В этот момент методом случайного отбора сотрудниками полевого отдела, не участвующими в проекте (это необходимо для обеспечения объективности), проводится телефонный контроль 10—25% опрошенных респондентов (процент варьируется в зависимости от размера выборки — при малых размерах есть возможность проконтролировать больший объем) на предмет соответствия социально-демографических характеристик респондента квотам (целевой группе)15. На третьем этапе, который проводится параллельно со вторым, осуществляется сплошная компьютерная сверка данных на соответствие логике (валидность) и взаимоисключаемость ответов. Осуществляют ее сотрудники отдела обработки. В случае если для опроса применялись методы CATI или CAPI(интервьюирование с использованием компьютерных технологий), часть работы по проверке на валидность проводится интервьюером уже на этапе проведения интервью. Заказчик может, при желании, принять непосредственное участие в проведении контроля исследования совместно со специалистами фирмы16. Однако современные методы не всегда лучше тех, которые ис- пользовались нашими предшественниками 50 лет назад. 3 ноября 1951 г. Совет Министров СССР принял постановление об улучшении организации обследований бюджетов рабочих, служащих и колхозников. В постановлении отмечалось, что основной задачей ЦСУ СССР в области бюджетной статистики следует считать. разработку данных о бюджете квалифицированных и малоквали-фицированных рабочих по отраслям промышленности, тружеников совхозов и колхозов по производственным направлениям и экономическим районам. Метод контроля поля можно проследить лишь на одном регионе — Сибири. Здесь в 1950-е гг. бюджетны-ми наблюдениями, а это самый трудоемкий вид эмпирического исследования, было охвачено более 1 тыс. человек. Сбор бюджет-ной информации осуществляли специально подготовленные со-трудники статистических управлений. За каждым из них было. закреплено 20—25 рабочих семей, которые он посещал не менее двух раз в месяц. Обследуемые семьи вели вспомогательные за-писи, где ежедневно регистрировали все данные о доходах, рас- ходах и потреблении. Бюджетный бланк заполнялся статистиком путем опроса взрослых членов семей с учетом сделанных ими записей. Кроме того, использовался ряд документов: пенсионные книжки, квитанции об оплате жилплощади и коммунальных услуг, различные расчетные ведомости. Каждое предприятие, где работали члены обследуемых семей, предоставляло статистическим органам сведения об их заработной плате, полученных премиях, пособиях, количестве отработанных дней и др. Правильность данных, вносимых статистиком в бюджетный бланк, не реже двух раз в квартал проверялась контролерами областных статистических управлений и инспекторами ЦСУ СССР17. Американские специалисты по методике политологических исследований Дж. Мангейм и Р. Рич18 дают следующие советы. В случае почтового опроса каждая возвращенная анкета должна быть вскрыта, проверена на предмет правильности ее заполнения и подшита в общий комплект (файл). Каждой анкете должен быть придан серийный номер, так чтобы впоследствии можно было легко установить время ее возврата. Число анкет, поступивших за день, должно отмечаться в особом журнале, чтобы исследователь имел возможность следить за ходом возврата анкет. Если по возвращенной анкете можно установить личность респондента, то исследователю следует фиксировать поступление анкет таким образом, чтобы при этом выявлялись возможные диспропорции в ходе их возврата. Если выяснится, что какая-то географическая или демографическая группа респондентов очень пассивно отвечает на анкеты, то может понадобиться лишний раз напомнить им об опросе — иначе выборка может стать нерепрезентативной. Вдобавок к этому просматривание поступающих анкет помогает обнаружить промахи, допущенные респондентом, например пропуск последней страницы инструмента или неверное прочтение инструкции в той ее части, где говорится, как следует отмечать нужные пункты анкеты. Последующий телефонный звонок или уточняющее письмо (в случае не анонимного опроса) может помочь спасти анкету, которую иначе придется признать недействительной. В процессе проведения анкетирования или личных интервью руководитель проекта должен постоянно проверять выполнение порученного дела. Один из эффективных способов — выслушивать устные отчеты возвращающихся с объекта интервьюеров. Руководитель также проверяет заполненные бланки интервью или анкеты с целью определить: 1) те ли люди (те ли семьи) были опрошены; 2) все ли опросные листы были заполнены и возвращены; 3) указаны ли в путеводителе дата и время проведения интервью; 4) проставлены ли в бланке код интервьюера и опознавательный номер респондента; 5) для всех ли отказов давать интервью изложены соответствующие причины и везде ли, где надо, отмечена договоренность о сроке дополнительного визита к респонденту (если во время первого визита интервьюера респондент почему-либо был недоступен). При телефонном опросе у руководителя поля есть дополнительные возможности: тайно прослушивать выборочные интервью. Эта мера усиливает у интервьюеров чувство ответственности, а также помогает обнаруживать и устранять недочеты, допускаемые ими в ходе применения инструмента19. Контрольная проверка важна не только при анкетировании, но и при других формах опроса, например, когда интервьюер — в случае его недобросовестности — получает возможность незаметно сфальсифицировать результаты интервью, да и добросовестный интервьюер может ошибиться, опросив не того, кого надо. Бывали случаи, вспоминают Дж. Мангейм и Р. Рич, что непрофессиональные интервьюеры, чтобы избежать долгих хождений, сочиняли вымышленные интервью, а приходящие няни выдавали себя за хозяев-респондентов. Контрольная проверка позволяет исследователю устранить ошибки этого типа и удостовериться в том, что выборка формируется согласно установленной процедуре20. Контроль результатов личного интервью обычно сводится к дополнительной встрече (разговору) с тем или иным респондентом с целью определения: 1) имело ли место интервью на самом деле; 2) все ли вопросы задал интервьюер, и все ли ответы он правильно записал. Чтобы это выяснить, спросите респондента, когда имело место интервью и сколько приблизительно оно длилось. Если респондент подтвердит факт проведения интервью, попросите его ответить еще раз на два простых вопроса (взятых из середины и из конца интервью) под тем предлогом, что его первоначальные ответы были записаны неразборчиво. Надо сверить новые ответы с теми, которые были зафиксированы ранее.
|