Логический контроль анкеты

«Кабинетный вариант» анкеты всегда нуждается в контрольной проверке на соответствие его методическим критериям самыми разными способами. Часть вопросов доступна логическому конт­ролю на уровне экспертных оценок, а другие вопросы требуют эмпирической, экспериментальной проверки в специализирован­ном пробном исследовании. Как правило, логический анализ и пробное исследование образуют две последовательные процедуры. Их цель — оценить качество разработанной методики опроса.

Логический контроль анкеты, позволяющий проверить ее на соответствие научным критериям качества, проводится в самом конце — по окончании компоновки анкеты.

Логический контроль — это соотнесение каждого вопроса анкеты, ее ком­позиции и организационных решений по проведению опроса со списком нормативных требований. Он проводится либо самим автором, либо чле­нами специальной экспертной комиссии (совета).

Правильно организованный логический контроль строится по двум осям декартовой системы координат (рис. 3.4).

Ось ОХ можно назвать параметром «часть-целое». Она пред­ставляет собой контроль правильности формулировки вопросов и правильность компоновки всей анкеты, ее композиции.

Ось ОУможно назвать параметром «логическое-психологичес­кое». Она представляет собой контроль соответствия каждого воп­роса логическим и психологическим критериями.

⁶

12. Не является ли вопрос «острым» для респондентов, свя­занным с социальным или психологическим «табу»? Не задева­ет ли он самолюбие респондента, интимные стороны его жизни?

13. Соответствует ли смысл вопроса и его содержание компе­тентности и информированности опрашиваемых, уровню их обы­денных представлений, житейской практики?

14. Является ли вопрос достаточным для получения необхо-димой информации? Не нужно ли добавить контрольные вопро-сы на искренность и логическую непротиворечивость?

Перечень такого рода вопросов — своеобразный методичес­кий «тест», обеспечивающий контроль качества каждого воп-роса. Технически он осуществляется так. Первый вариант: в тексте анкеты рядом с каждым вопросом записываются номе-ра тех критериев (или их сокращенные обозначения), по ко­торым данный вопрос получил замечание. Второй вариант: рядом с каждым критерием выписываются номера вопросов, получивших замечания по данному критерию. Результатом такого анализа будет комплексная оценка каждого вопроса по всем названным критериям. Вся совокупность вопросов раз-делится на три группы в зависимости от возможности их до-работки. Первая группа — вопросы, признанные пригодными для использования в опросе без дальнейшей проверки и дора-ботки. К ним относятся не получившие замечаний и те воп-росы, где замечания доступны редактуре без эксперименталь-ной проверки. Вторая группа — вопросы, либо получившие небольшое количество замечаний, либо имеющие грубые ло-гические и методические просчеты и признанные непригод-ными к использованию. Они подлежат выбраковке. Третья группа — вопросы, нуждающиеся в экспериментальной или зондажной проверке в пробном исследовании. По поводу каж-дого (или большинства) из них необходимо знать, какие их методические характеристики будут проверяться в пробном исследовании. В зависимости от этого ставятся конкретные задачи и процедуры для пробного исследования. Приведем здесь несколько таких ситуаций.

1. Существует опасение, что некоторые слова непонятны. В пробном исследовании проводится тестирование pecпондентов по списку этих слов. Если потенциально непонятных слов мало, то их содержание проверяется дополнительными вопросами в ус-тной форме во время пробного исследования. Кроме того, по-нимание языка анкеты контролируется также методом наблюде-ния во время пробного опроса, когда анкетер фиксирует все слу-чаи непонимания прямо в анкете вместе с вопросами.

2. Проверяется соответствие вариантов ответов в закрытом воп­росе языку и системе представлений опрашиваемых, уровню их информированности. В пробном исследовании «подозреваемые» вопросы задаются в открытой форме, а затем полученные ответы сравниваются с «кабинетными» вариантами и производится дора­ботка. При этом проверку нельзя заменить использованием «по­лузакрытой» формы вопроса. Среди социологов распространено мнение, что «кабинетный» вариант вопросов не нуждается в ап­робации, если к нему добавить вариант «другое мнение». Неявно предполагается, что все недостающие варианты допишет респон­дент. Однако практика показывает, что дополнений бывает очень мало. Респонденты подбирают варианты из предложенного спис­ка даже в тех случаях, когда последний не соответствует их лич­ному мнению.

3. Существует сомнение по поводу формы вопроса: ставить ли его в открытой или закрытой форме, какую выбрать шкалу (трех-, пяти-, семичленную), сделать ли вопрос в виде теста на незавершенное предложение либо в виде картотеки? В таком случае, после логического обоснования формы вопроса, надо провести экспериментальную проверку отобранных вариантов, сравнить результаты и выбрать наиболее пригодный.

4. Возникли сомнения в однозначности восприятия смысла вопроса. Здесь надо заранее продумать, какой (какие) дополни­тельный вопрос следует задать респонденту, чтобы проверить по­нимание смысла вопроса и ответа. Обычно достаточно попросить респондента прокомментировать или пояснить свой ответ.

Результатом логического контроля анкеты выступает совокуп­ная оценка ее качества, характеризуемая числом полученных за­мечаний. Те вопросы анкеты, которые содержат очевидные мето­дические просчеты, заменяются другими, имеющими методичес­кое решение. Весь описанный процесс предваряет разработку задач пилотажного исследования.

Окончательный вердикт качеству всей анкеты выносит пило­тажное (пробное) исследование. Оно вскрывает все недочеты ан­кеты и особенно в составлении вопросов. Один из верных пока­зателей непригодности вопроса — большая доля не ответивших или затруднившихся ответить на него. Значение данного показа­теля интерпретируется в зависимости от познавательной задачи вопроса. Если изучается распространенное явление, о котором Должны знать все или подавляющее большинство людей, а доля затруднившихся ответить высока, то это свидетельство методичес­кой погрешности в составлении вопроса. А если измеряется ин­формированность опрашиваемых о достаточно редком явлении и доля не ответивших или затруднившихся ответить высока, то вполне можно заключить, что вопрос соответствует поставленной задаче.

Логические требования к разработке вопросов дополняются комплексом требований социально-психологического характера, которые учитывают такие особенности опрашиваемых, как их информированность, специфика жизненной ситуации, память, навыки самоанализа, умение устно и письменно характеризовать свои мысли, чувства, отношение к опросу и желание сообщить необходимую социологу информацию¹⁶.

Следует отметить, что логические и социально-психологичес­кие ошибки чаще всего сопутствуют друг другу. Например, ошибки, связанные с превышением информированности респон­дентов о предмете опроса, как правило, встречаются в вопросах, где нечетко определена познавательная задача. В них, кроме того, встречаются и научно-теоретические понятия, которые нужда­ются в эмпирической интерпретации, вследствие чего наруша­ется требование соответствия языку опрашиваемых. Пример* такого вопроса: «Знаете ли Вы, как фактически изменились тех­нико-экономические показатели Вашей деятельности за после­дние 12 месяцев?»

	Знаю точно	Знаю приблизительно	Не знаю
1. Производительность труда(в натуральных стоимостных показателях)
2. Фондоотдача (в рублях)
3. Выпуск продукции высшего качества

Подобный вопрос имеет усложненную логическую структуру. Фактически это блок из трех вопросов, каждый из которых имеет свой предмет (производительность труда, фондоотдача, качество продукции), по поводу которого требуется получить мнение рес­пондента. Самооценка фиксируется по трехчленной шкале, при­чем в обобщенном виде (за последние 12 месяцев). Зрительно формулировка логического задания респонденту кажется как бы

разорванной. Чтобы получить целостное впечатление, респонденту приходится трижды «воссоединять» вводную часть вопроса со вто­рой ее частью. Например: «Знаете ли Вы, как фактически изме­нилась производительность Вашего труда (в натуральных стоимо­стных показателях) за последние 12 месяцев?»; «Знаете ли Вы, как фактически изменилась фоноотдача?..» и т.д.

Табличная конструкция вопроса сильно усложняет восприя­тие его смысла и, следовательно, ответ на него. Она употребля­ется чаще всего при интервьюировании. Для обученного интер­вьюера не представляет труда воспроизвести табличную конст­рукцию в виде трех самостоятельных вопросов (он устно повторяет их), а ответы зафиксировать в таблице. Это существен­но экономит затраты бумаги на тиражирование анкет. Однако при анкетировании подобный прием (несмотря на его всеобщую распространенность) увеличивает число ошибок и ведет к фор­мальным ответам.

Табличный вопрос — типичный пример некритического пере­носа научной терминологии в язык анкеты. Чтобы это не случи­лось, надо использовать речевые эквиваленты для технических терминов типа «натуральные стоимостные показатели», «фондо­отдача», «деятельность» и т.п. В терминах научного языка ставит­ся только исследовательская задача, но не анкетный вопрос.

Понимание языка анкеты проверяется пробным исследованием с помощью постановки открытых вопросов и тестов на информи­рованность. Поскольку респондент должен самостоятельно форму­лировать ответы, то сразу обнаруживается непонимание им смыс­ла вопроса или отдельных слов. Тогда респондент задает вторич­ные уточняющие вопросы либо просит разъяснить смысл вопросов. Тесты на информированность состоят из списков слов, которые могут быть непоняты опрашиваемыми. Респондентов просят в письменной или устной форме объяснить значение этих слов.

Полученные ответы разбиваются на три группы: совершенно правильные, частично правильные, совсем неправильные. Крите­рием оценки правильности ответа служит определение слова, дан­ное в толковом словаре. Полученные оценки владения респонден­тами исследуемым списком терминов служат основанием для их использования или замены.

Следует отметить, что универсальных рецептов по разработке словаря анкет не существует. В каждой исследовательской ситуа­ции социолог заново определяет соответствие разработанного инструментария социально-психологическим требованиям.

Одним из требований к формулировке вопросов выступает учет нормативных представлений респондента о «запретных» темах 358

(социологические и психологические «табу»). Нарушение приво­дит к тому, что на такие вопросы многие не отвечают либо дают недостоверную информацию. Это могут быть вопросы о социаль­но неодобряемом поведении (нарушениях дисциплины, плохом качестве работы, употреблении спиртных напитков, конфликтах на работе или в семье), вопросы об интимных сторонах личной жизни, вопросы, связанные с нарушением положительной само­оценки человека или необходимостью давать негативные оценки близким людям.

Выявляются «табу»-вопросы в пробном исследовании. В иссле­довании образа жизни было установлено, что вопрос о жизнен­ных планах на ближайшее пятилетие, нейтральный для молоде­жи и лиц среднего возраста, оказался острым для людей преклон­ного возраста и с плохим здоровьем¹⁷.