Контроль качества собираемых данных

Контроль за преднамеренными ошибками интервьюеров осуществляется двумя способами: путем надзора за их работой и путем проверки выполненной работы. Надзор осуществляется, например, путем незаметного подключения к телефонной линии, по которой берется интервью. При устном интервьюировании интервьюера может сопровождать проверяющее лицо.

Цель проверки проведенного опроса заключается в выявлении случаев обмана и фальсификации со стороны интервьюеров.

Для этого можно установить повторный контакт с рядом ранее опрошенных респондентов и узнать, принимали ли они участие в опросе, и проверить выборочно их ответы на вопросы. Кроме того, опытный проверяющий, просматривая заполненные ответы, может обнаружить какие-то несоответствия. Например, очень молодой человек оказался отцом многодетной семьи.

Уменьшение непреднамеренной ошибки интервьюеров осуществляется путем проведения ориентационных сессий и путем разыгрывания ролей. В первом случае производится ознакомление интервьюеров с целями обследования, с вопросником, с инструкцией по его заполнению. Разыгрывание ролей предполагает пробное заполнение анкет, когда одни из участников сессии исполняют роли интервьюеров, а другие — респондентов.

Контроль за преднамеренными ошибками респондентов направлен на снижение числа случаев лжи и отказа участвовать в обследовании. Для этого, прежде всего, необходимо сохранять анонимность и конфиденци­альность (данные личного характера, останутся известными только респонденту). Далее, используются различные меры стимулирования участия респондентов в обследовании (денежная оплата, подарки, сувениры). Проверка достоверности ответов заключается в поиске ложных ответов путем их просмотра. Напр, может быть обнаружено, что выглядящий немолодым респондент называет молодой возраст, потрепанно одетый - укажет высокий заработок. В ряде случаев для преодоления нежелания правдиво отвечать на вопросы последние задаются от третьего лица. Напр, мужчине средних лет может быть задан вопрос: «Как вы думаете, будет ли использовать человек вроде вас данное средство от облысения?»

Контроль за непреднамеренными ошибками респондентов осуществляется в различных формах. Необходимо тщательно составлять вопросники и инструкции к ним, использовать разнонаправленные шкалы измерений. Для уменьшения числа ответов-предположений в шкалы вводятся такие градации, как «не имею мнения», «не могу вспомнить», «не уверен». Нецелесообразно в шкалах для всех вопросов с одной стороны располагать негативные оценки, а с другой - только положительные. Надо менять полярность вопросов, что повышает внимательность респондентов, заставляет их больше думать над ответами. Наконец, в вопросниках для поддержания внимания респондентов и доведения обследования до конца могут использоваться такие фразы, как «Опрос близится к концу», «Вы ответили на самые трудные вопросы».

Можно выделить три типа ошибок, обусловленных нежеланием респондента отвечать на вопросы: из-за отказа вообще принять участие в обследовании, из-за прекращения участия и из-за отказа отвечать на определенные вопросы.

Так, респондент может отказаться от участия в опросе из-за отсутствия интереса к данному обследованию или принципиальной отрицательной позиции по отношению к любому обследованию подобного рода, из-за своей занятости, ему может, не понравится голос интервьюера, ма­нера задавания вопросов и т.п.

Причины прекращения ответов на вопросы также являются весьма различными. Возможно, что ответы потребовали больших затрат времени, чем ожидалось; некоторые вопросы носят чрезмерно личностный характер; пояснения к ответу на ряд вопросов оказались непонятными; ответы прервал телефонный звонок, возвращение из школы ребенка и т.п.

Наконец, респондент просто может не ответить только на некот вопросы - чрезмерно личностного характера или вызывающие неприятие по тем или иным причинам. Поэтому в шкалу в ряде случаев специально вводят градацию «отказываюсь отвечать».

Для уменьшения ошибки, обусловленной отказом отвечать на вопросы, необходимо прежде всего ее измерить. Если величина ошибки является существенной, то надо предпринять меры для ее уменьшения. Для этого используются два метода: взвешенных средних и формирования выборки больших размеров.

Первый метод предполагает использование весов для точного представления отдельных подгрупп изучаемой совокупности. Таким путем учитывается разное число «отказников» для разных подгрупп. Взвешенная средняя рассчитывается по следующей формуле:

где х — взвешенная средняя оценка для выборки;

x_a, x_b... — средние оценки для разных подгрупп выборки;

W_a, W_b … — веса отдельных подгрупп, характеризующие долю каждой подгруппы в совокупности.

Напр, изучается мнение потребителей относительно крема для загара определенной марки. Демографические данные говорят о том, что целевой рынок включает 50% мужчин и 50% женщин. Однако на вопро­сы почтового опроса ответило 25% мужчин и 75% женщин. В этом случае возможно уточнение полученных данных путем введения весов, характе­ризующих пропорцию 50:50. На вопрос анкеты: «Сколько бы вы запла­тили за флакон крема?» — мужчины в среднем ответили 2 доллара, а женщины — 3 доллара. В этом случае средняя оценка (пропорция 25:75) составит 2,75 доллара. Однако если использовать истинную пропорцию 50:50, то средняя цена составит 2,50 доллара.

Второй метод заключается в сознательном формировании выборки больших размеров, чем требуется для анализа. Из этой выборки выбира­ются подгруппы, по размерам соответствующие представлениям о структуре целевой выборки.

Скажем, в нашем примере относительно крема для загара вопросы были посланы 10 000 респондентам, из которых только 2000 дали ответы. При этом имела место некорректная пропорция 25:75. Возможно вместо использования весовых коэффициентов просто не принимать в расчет 1000 ответов женщин, приведя таким образом пропорцию к истинному значению 50:50, т.е. учитывая ответы 500 мужчин и 500 женщин. Хотя, конечно, лучше использовать другие методы уменьшения числа «отказников», рассмотренные выше.

Перед тем как табулировать и анализировать данные проведенного обследования, целесообразно провести их предварительную проверку и выявить ошибки респондентов.

Для этого, прежде всего, следует проверить анкеты на полноту и точность их заполнения, выявить возможную ненадежность (разные подходы к ответам на подобные вопросы) и односторонность ответов (напр, только «да», «нет», «нет мнения»). Осуществляется это на систематической и несистематической основе. В первом случае анкеты выбираются случайным образом, и осуществляется их проверка на основе выборочных процедур; во втором - анкеты для проверки отбираются произвольным образом.

Если такие ошибки являются весьма существенными, то анкеты изымаются из дальнейшего анализа. Если возможно, то производится уточнение ответов. Жестких правил в данной области не существует, и они основаны на традициях, опыте и т.п., т.е. на неформальных подходах к определению, какие анкеты пригодны для последующего анализа, а какие — нет. Поэтому лучше ужесточить контроль сбора данных, умень­шив таким образом проблемы предварительной оценки собранных дан­ных.