Ошибки анкетера и контроль поля

Социолога-эмпирика почти за каждым углом поджидают ра­зочарования, непредвиденные затруднения, созданные им самим и возникшие не по его вине ошибки. Многие из них относятся к разряду «ошибки выборки». Они рассматриваются в самостоятель­ном разделе. Здесь мы поговорим о других ошибках, а именно тех, которые связаны не с предварительным этапом, когда рассчиты­вается выборка, когда совершается, особенно неопытным социо­логом, масса ошибок, а с проведением самого поля, т.е. полевого исследования. Оно начинается с инструктажа анкетеров (интер­вьюеров), снабжения их анкетами и распределения анкетеров по объектам. Но самое интересное и непредсказуемое приключение начинается с того момента, когда анкетеры встречаются непосред­ственно с респондентами — по месту работы, отдыха, жительства.

Выявление ошибок, контроль за поведением анкетеров (интер­вьюеров) и коррекция допущенных ошибок получили название контроля поля. Ошибки, связанные с организацией и проведени­ем поля, в дальнейшем будем называть ошибками поля.

Ошибки поля имеют следующие разновидности: 1) ошибки заполнения анкеты; 2) ошибки сбора данных; 3) ошибки обра­щения с полученными данными; 4) ошибки анализа собранных данных; 5) ошибки интерпретации полученных результатов. Кро­ме того, существуют ошибки, обусловленные нечетким выявле­нием проблем, использованием неоднозначных терминов и т.п. Ошибки поля можно разделить на две большие группы: а) ошиб­ки анкетеров (интервьюеров) и б) ошибки респондентов. Кроме опрос в данной выборочной совокупности с помощью других ан­кетеров. Но это в идеале, а на практике — дефицит времени, ма­териальных и людских ресурсов. Кроме того, если одних и тех же людей опросят другие анкетеры, то это не значит, что они дадут те же ответы. Они могут быть другими. Но кто виной тому — бо­лее тактичный интервьюер или изменившееся отношение к опросу самих респондентов?

В принципе эту погрешность можно было бы уменьшить, уве­личив число повторных посещений с трех до восьми-девяти, как делают западные социологи. Однако это привело бы, во-первых, к значительному увеличению расходов на проведение полевых работ, а во-вторых, к увеличению сроков проведения поля, — справедливо полагают Е.В. Козеренко и С.Г. Новиков¹².

Когда переспросить тех же респондентов другими анкетерами или устранить проблему при помощи повторных посещений нельзя, применяют вторую процедуру — перевзвешивание данных. Суть ее состоит в следующем: с помощью эмпирически найденных весов так скорректировать данные, чтобы влияние смещений снизить до оптимальных пределов. Величина смещения находится либо с по­мощью экспертного опроса, либо как отклонение средних значе­ний в подвыборках от среднего значения по всему массиву¹³.

Жестких правил в данной области не существует, правила ос­нованы на традициях, опыте и т.п., т.е. на неформальных подхо­дах к определению того, какие анкеты пригодны для последую­щего анализа, а какие нет. Поэтому лучше ужесточить контроль за сбором данных, уменьшив таким образом проблемы предвари­тельной оценки собранных данных.

Наиболее распространенная форма контроля качества работы интервьюера (анкетера) — выборочное повторное посещение рес­пондентов. Контролеры-интервьюеры выясняют, состоялась ли беседа и с кем именно, спрашивают о содержании интервью и впе-чатлении, которое произвел интервьюер. По результатам контроля: поощряются или порицаются интервьюеры, осуществляется выб­раковка ненадежных бланков интервью. Другим способом контро-ля может быть почтовая анкета, которая рассылается респондентам, участвовавшим в опросе. В такой анкете присутствуют вопросы, подобные тем, которые задают контролеры-интервьюеры.

Фирма «УЛТЕКС Сервис А.О.», проведшая в 1994 г. исследова­ние в Москве и Московской области, Санкт-Петербурге и Ленин­градской области, Туле, Владимире и Иваново (всего опрошен 1001 респондент), осуществляла контроль качества информации после проведения опроса, связываясь с 10% опрошенных по телефону и направляя им письма. Полученные опросные листы проверялись также на правильность заполнения. Если судить по литературе, а также информации, доступной в Интернете, большинство компа­ний, занятых рекламой и маркетинговыми исследованиями, про­водит не более чем 10%-ный контроль поля методом повторного посещения или телефонным звонком. Полный, т.е. 100%-ный, кон­троль практически невозможен, так как он существенно повышает стоимость полевых работ.

В компании ГфК МР минимальная начальная квота контро­ля — 20% интервью, но она может быть увеличена, если клиент готов платить. Контроль проводится повторными посещениями, по телефону и почте. Если в процессе интервью выявляется боль­шое количество ошибок у одного и того же интервьюера, то про­водится 100%-ная проверка его анкет. По результатам проверки составляется протокол, и нерадивые интервьюеры штрафуются в меру их нерадивости (до 100% штрафа). С ними компания расста­ется, а их фамилии заносятся в «черный список». Такая же схема применяется для региональных супервайзеров, но их штрафуют за суммарный процент ошибок в своем регионе¹⁴. По результатам работы за определенный период лучшие интервьюеры премиру­ются. Центр бизнес-информации, социологических и маркетин­говых исследований BISAM Central Asia, который ориентируется в своей деятельности на международные стандарты ESOMAR, про­водит контроль как минимум 25% завершенных интервью по спе­циально разработанным контрольным вопросам; осуществляет визуальный контроль 100% анкет; контроль ошибок ввода с по­мощью специальных программ.

В Аналитическом центре «Бизнес и маркетинг» после заверше­ния исследования проводится обязательная многоступенчатая проверка качества полевых работ. Первым шагом является ручная проверка полноты и качества информации, содержащейся в ан­кетах, а также выборочная проверка 3-4 анкет каждого интервью­ера на наличие «галло-эффекта» (психологический эффект повто­ряемости ответов на похожие по форме вопросы). На этом этапе контроль осуществляют специально назначенные сотрудники по­левого отдела, ответственные за данный проект. В этот момент методом случайного отбора сотрудниками полевого отдела, не участвующими в проекте (это необходимо для обеспечения объек­тивности), проводится телефонный контроль 10—25% опрошенных респондентов (процент варьируется в зависимости от размера выборки — при малых размерах есть возможность проконтроли­ровать больший объем) на предмет соответствия социально-демо­графических характеристик респондента квотам (целевой группе)¹⁵.

На третьем этапе, который проводится параллельно со вторым, осуществляется сплошная компьютерная сверка данных на соот­ветствие логике (валидность) и взаимоисключаемость ответов. Осуществляют ее сотрудники отдела обработки. В случае если для опроса применялись методы CATI или CAPI (интервьюирование с использованием компьютерных технологий), часть работы по проверке на валидность проводится интервьюером уже на этапе проведения интервью. Заказчик может, при желании, принять непосредственное участие в проведении контроля исследования совместно со специалистами фирмы¹⁶.

Однако современные методы не всегда лучше тех, которые ис- пользовались нашими предшественниками 50 лет назад. 3 ноября 1951 г. Совет Министров СССР принял постановление об улуч­шении организации обследований бюджетов рабочих, служащих и колхозников. В постановлении отмечалось, что основной зада­чей ЦСУ СССР в области бюджетной статистики следует считать. разработку данных о бюджете квалифицированных и малоквали-фицированных рабочих по отраслям промышленности, тружени­ков совхозов и колхозов по производственным направлениям и экономическим районам. Метод контроля поля можно проследить лишь на одном регионе — Сибири. Здесь в 1950-е гг. бюджетны-ми наблюдениями, а это самый трудоемкий вид эмпирического исследования, было охвачено более 1 тыс. человек. Сбор бюджет-ной информации осуществляли специально подготовленные со-трудники статистических управлений. За каждым из них было. закреплено 20—25 рабочих семей, которые он посещал не менее двух раз в месяц. Обследуемые семьи вели вспомогательные за-писи, где ежедневно регистрировали все данные о доходах, рас- ходах и потреблении. Бюджетный бланк заполнялся статистиком путем опроса взрослых членов семей с учетом сделанных ими за­писей. Кроме того, использовался ряд документов: пенсионные книжки, квитанции об оплате жилплощади и коммунальных ус­луг, различные расчетные ведомости. Каждое предприятие, где работали члены обследуемых семей, предоставляло статистичес­ким органам сведения об их заработной плате, полученных пре­миях, пособиях, количестве отработанных дней и др. Правиль­ность данных, вносимых статистиком в бюджетный бланк, не реже двух раз в квартал проверялась контролерами областных статис­тических управлений и инспекторами ЦСУ СССР¹⁷.

Американские специалисты по методике политологических ис­следований Дж. Мангейм и Р. Рич¹⁸ дают следующие советы. В случае почтового опроса каждая возвращенная анкета должна быть вскрыта, проверена на предмет правильности ее заполнения и подшита в общий комплект (файл). Каждой анкете должен быть придан серийный номер, так чтобы впоследствии можно было легко установить время ее возврата. Число анкет, поступивших за день, должно отмечаться в особом журнале, чтобы исследователь имел возможность следить за ходом возврата анкет. Если по возвращен­ной анкете можно установить личность респондента, то исследо­вателю следует фиксировать поступление анкет таким образом, что­бы при этом выявлялись возможные диспропорции в ходе их возврата. Если выяснится, что какая-то географическая или демог­рафическая группа респондентов очень пассивно отвечает на анке­ты, то может понадобиться лишний раз напомнить им об опросе — иначе выборка может стать нерепрезентативной. Вдобавок к этому просматривание поступающих анкет помогает обнаружить прома­хи, допущенные респондентом, например пропуск последней стра­ницы инструмента или неверное прочтение инструкции в той ее части, где говорится, как следует отмечать нужные пункты анке­ты. Последующий телефонный звонок или уточняющее письмо (в случае не анонимного опроса) может помочь спасти анкету, ко­торую иначе придется признать недействительной.

В процессе проведения анкетирования или личных интервью руководитель проекта должен постоянно проверять выполнение порученного дела. Один из эффективных способов — выслушивать устные отчеты возвращающихся с объекта интервьюеров. Руково­дитель также проверяет заполненные бланки интервью или анке­ты с целью определить: 1) те ли люди (те ли семьи) были опро­шены; 2) все ли опросные листы были заполнены и возвращены;

3) указаны ли в путеводителе дата и время проведения интервью;

4) проставлены ли в бланке код интервьюера и опознавательный номер респондента; 5) для всех ли отказов давать интервью изло­жены соответствующие причины и везде ли, где надо, отмечена договоренность о сроке дополнительного визита к респонденту (если во время первого визита интервьюера респондент почему-либо был недоступен). При телефонном опросе у руководителя поля есть дополнительные возможности: тайно прослушивать выборочные интервью. Эта мера усиливает у интервьюеров чув­ство ответственности, а также помогает обнаруживать и устранять недочеты, допускаемые ими в ходе применения инструмента¹⁹.

Контрольная проверка важна не только при анкетировании, но и при других формах опроса, например, когда интервьюер — в слу­чае его недобросовестности — получает возможность незаметно сфальсифицировать результаты интервью, да и добросовестный интервьюер может ошибиться, опросив не того, кого надо. Бывали случаи, вспоминают Дж. Мангейм и Р. Рич, что непрофессиональ­ные интервьюеры, чтобы избежать долгих хождений, сочиняли вымышленные интервью, а приходящие няни выдавали себя за хозяев-респондентов. Контрольная проверка позволяет исследова­телю устранить ошибки этого типа и удостовериться в том, что выборка формируется согласно установленной процедуре²⁰.

Контроль результатов личного интервью обычно сводится к дополнительной встрече (разговору) с тем или иным респонден­том с целью определения: 1) имело ли место интервью на самом деле; 2) все ли вопросы задал интервьюер, и все ли ответы он пра­вильно записал. Чтобы это выяснить, спросите респондента, ког­да имело место интервью и сколько приблизительно оно длилось. Если респондент подтвердит факт проведения интервью, попро­сите его ответить еще раз на два простых вопроса (взятых из се­редины и из конца интервью) под тем предлогом, что его перво­начальные ответы были записаны неразборчиво. Надо сверить новые ответы с теми, которые были зафиксированы ранее.