Валидность тестовых методик

 

Валидность психологического теста – степень, в которой тест действительно измеряет то, для чего он предназначен.

Валидность обеспечивается непосредственным контролем за тем, насколько хорошо тест выполняет свою функцию. Для опреления валидности обычно требуется независимый внешний критерий всего того, что тест должен измерять.

Чтобы установить валидность теста, его следует провести на большой группе испытуемых. А. Анастази приводит следующий пример определения валидности теста. Если тест медицинских способностей используется при отборе поступающих в медицинское училище, критерием будет являться успешность обучения в этом училище. Чтобы установить валидность такого теста, его следует нести на большой группе студентов в то время, когда они поступают в училище. Показателями результативности их обучения в медициском училище будут служить получаемые каждым учащимся отметки, характеристики преподавателей, какие-либо заметные успехи или неудачи в учебе и т.п. Совокупность таких показателей и будет критерием, с которым следует соотнести исходные тестовые показатели студентов. Высокая корреляция, или высокий коэффициент валидности, означала бы, что индивиды, имевшие высокие показатели, добивались в медицинском училище заметных успехов, а у имевших низкие показатели успехи были слабыми. При низкой корреляции соответствие между тестовым показателем и критерием было бы незначительным и, следовательно, валидность теста была бы низкой.

Коэффициент валидности позволяет определить, насколько точно может быть предсказана на основе тестовых показателей успешность критериальной деятельности. При этом А. Анастази обращает внимание на следующее: «Валидность говорит не только о степени соответствия теста своим функциям. В действительности она указывает на то, что именно измеряется данным тестом. Поэтому было бы более точным определение валидности как той меры, с помощью которой устанавливается, что измеряется тестом. Несомненно, интерпретация тестовых показателей была бы более ясной и однозначной, если бы тесты все время назывались в соответствии с критериальными данными, с помощью которых оценивалась их валидность» [Анастази, 1982, т.1, с. 37].

Примером такого соответствия могут служить названия таких тестов, как «тест способности к обучению» и «тест распределении персонала» вместо неопределенного названия «тест интеллекта». А. Анастази предупреждает также о необходимости контроля за использованием психологических тестов, который поможет: а) предотвратить делающую тест невалидным всеобщую доступность eго содержания; б) гарантировать использование теста только квалифицированными экспериментаторами. Например, если индивид запомнил правильные ответы в тесте на цветоразличение, то этим тестом уже нельзя измерить его цветовое зрение. В этом случае тест полностью теряет валидность. Очевидно, что сохранение содержания теста в тайне позволяет предотвратить преднамеренное искажение показателей.

Тест может утрачивать валидность и в случаях действий малосведомленных лиц. Так, школьный учитель может натренировать свой класс в решении задач теста интеллекта. Такая предварительная тренировка или подготовка, скорее всего, повысит тестовые показатели, никоим образом не повлияв на более широкую область поведения, которую тестом пытаются проверить. При таких условиях валидность теста как средства прогноза снижается.

Валидность всякой процедуры измерения состоит в однозначности (устойчивости) получаемых результатов относительно измеряемых свойств объектов, т.е. относительно предметов измерения [Общая психодиагностика, 1987]. Как указывает В. М. Мельников, валидность и надежность – связанные понятия. В истории известны случаи, когда тесты, признанные инвалидными для измерения одних свойств, оказывались валидными для других. Значит, надежность является необходимым условием валидности. Ненадежный тест не может быть валидным, и наоборот, валидный тест всегда надежен. Надежность теста не может быть меньше его валидности; в свою очередь валидность не может превышать надежность [Мельников, Ямпольский, 1985].

В современной психометрии выделяются три основных вида валидности:

1) содержательная (логическая);

2) эмпирическая;

3) конструктная.

Содержательная валидность (content validity) Ее часто называют «логической валидностью», или «валидностыо по определению». Содержательней валидность означает, что тест является валидным по мнению специалистов. Содержательную валидность следует отличать от очевидности, внешней валидности (face validity).

Очевидная валидность – валидность с точки зрения испытуемого. Она означает впечатление о предмете измерения, которое сформировалось у испытуемого при знакомстве с инструкцией и материалом теста. Очевидная валидность играет важную роль, поскольку именно она определяет отношение испытуемых к обследованию. В. Л. Аванесов Водит пример отказа от выполнения теста испытуемыми из-за отсутствия у теста очевидной валидности. Он столкнулся со случаем отказа моряков рыболовного флота заполнять анкету под предлогом того, что в ней нет вопросов, относящихся к морякам, «на морские темы» [Аванесов, 1982]. Именно в силу этого обстоятельства валидность очевидную иногда называют также «доверитель-палидностью». В отличие от очевидной валидности содержащая валидность всегда связана с оценкой отношения содержания тестового материала к истинной, а не мнимой цели измерения.

Для определения содержательной валидности используется экспертные методы. Здесь важно предусмотреть возможность контроля компетентности и добросовестности экспертов.

Эмпирическая валидность (empirical validity) Идея эмпирической валидности заключается в определении способности теста служить индикатором или предсказателем строго определенной психической особенности или формы поведения человека.

Для измерения этого свойства вычисляется коэффициент корреляции тестового материала с высшим критерием.

Вопрос о выборе критерия является в этом виде валидности основным. Условно можно выделить три группы критериев: экспертные, экспериментальные и жизненные. Экспертный критерий предполагает использование экспертных оценок для независимого измерения свойств личности. Однако, как показали исследования, экспертные оценки учителей часто имеют низкую валидность и надежность. Это связано с тем, что их оценки имеют субъективные искажения (симпатии и антипатии). В связи с низкой надежность и трудностями организации экспертиз экспертные критерии валидности используются редко [Мельников, Ямпольский, 1985]. На практике больше распространены экспериментальные критерии. В этих случаях в качестве критерия валидности используются результаты одновременного и независимого тестирования испытуемых другим тестом, предположительно измеряющим то же свойство личности, что и валидизируемый тест. Коэффициент корреляции между результатами двух измерений называется эмпирической взаимной валидностью.

Эмпирическая валидность теста – это всегда валидность по отношению к конкретному критерию. Поэтому процесс конструирования теста часто сопровождается поиском подходящего критерия. Если к моменту проверки валидности такого эксперимен тального критерия не оказывается, в качестве него используются характеристики реального поведения, которые связаны предположительно измеряемыми свойствами. Например, для тестов интеллекта используются показатели успешности обучения в качестве жизненных критериев. Однако использование жизненных критериев в качестве валидизации тестов имеет смысл только и отношении многомерных тестов.

А. Анастази выделяет и так называемую текущую и прогностическую валидность. Термин «предсказание», по Анастази, может использоваться как в широком смысле, означая прогноз поведения испытуемого на основе данных тестирования в реальной ситуации, так и в узком смысле, указывая лишь на временной интервал. Информация, содержащаяся в прогностической валидности, особенно важна для тестов, используемых при отборе и распределении персонала. Прием на работу, отбор учащихся в колледжи или профессиональные училища, военнослужащих на курсы специальной подготовки – вот примеры ситуаций, когда нужно знать валидность используемых тестов [Анастази, 1982, т. I].

Текущая валидность используется в тестах, оценивающих настоящее положение дел, а не предсказывающих будущие результаты. В этом различении А.Анастази приводит такой пример. Если мы хотим узнать, является ли Смит невротиком, то нас интересует текущая валидность; если мы хотим знать, склонен ли Смит к неврозам, то это значит, что нас интересует прогностическая валидность. Вместе с тем в определенных ситуациях текущая валидность гораздо точнее отвечает существу решаемых задач. Различии между этими двумя видами валидности основано не на времени, а на целях тестирования.

Конструктная валидность (constuct validity) Концептуальная, или конструктная, валидность теста показывает, насколько его результаты могут рассматриваться в качестве меры некого теоретического конструкта или свойства. Она устанавливается путем доказательства правильности теоретических концепций, положенных в основу теста. Примерами таких конструктов являются интеллект, понимание пространственных отношений, невротизм и тревожность и т.д. Концептуальная валидность имеет также значение при разработке новых тестов, для которых не определены внешние критерии валидности. По существу проверка концептуальной валидности проходит через три основных этапа:

1. Определяется некоторая теоретическая концепция, предположительно объясняющая выполнение валидизируемого теста.

2. Из теоретической концепции выводятся одна или несколько гипотез, связанных с валидизируемым тестом.

3. Выдвинутые гипотезы подвергаются эмпирической проверке.

 

Если эмпирические данные подтверждают гипотезу, то тем самым подтверждается психологическая концепция, положенная в основу теста, и способность теста служить инструментом измерения этой концепции. Чем убедительнее эмпирическое подтверждение, тем определеннее можно говорить о валидности теста по отношению к психологической концепции, положенной в его основу. Если эмпирические данные не подтверждают выдвинутых гипотез, то ошибка могла возникнуть из-за:

· неправильности теоретической концепции, положенной в основу теста;

· отсутствия соответствия между тестом и теоретической концепцией;

· ошибок при выдвижении гипотез, относящихся к квалифицируемому тесту.

 

В отличие от эмпирической валидности, для которой обычно имеется единственный внешний критерий, при оценке концептуальной валидности проверке подвергаются по возможности все гипотизы, вытекающие из теоретической концепции, лежащей в основе валидизируемого теста.

На практике для определения концептуальной валидности широко пользуется предложенная Д. Т. Кэмпбеллом и Д. В. Фиске процедура оценки «конвергентной и дискриминантной валидности».

Эта процедура предполагает использование наряду с валидизируемым тестом специальной многомерной батареи контрольных тестов, подобранной таким образом, чтобы в нее входили как тесты, предположительно связанные с валидизируемым тестом, такие связанные с ним. Экспериментатор должен заранее предсказать, какие тесты будут высоко коррелировать с валидизируемые тестом, а корреляция с какими тестами будет низкой.

 

Тесты, которые, по предположению, высоко коррелируют с валидизируемым тестом, называются конвергирующими, а те, которые не коррелируют, – дискриминантными.

 

Концептуальная валидность может считаться удовлетворительной, если коэффициенты корреляций валидизируемого теста с группой конвергирующих тестов статистически значимо выше ко- эффициентов корреляций с группой дискриминантных тестов.

Как отмечает А. Г. Шмелев, понятие конструктной валидности указывает на высокую зависимость эмпирических связей теста от теоретических представлений автора теста об измеряемом сип свой. Для иллюстрации Шмелев приводит пример взаимоотношений между двумя популярными тест-опросниками, разработанными Ж. Тейлором и Г. Айзенком [Общая психодиагностика 1987]. С точки зрения теории Айзенка, тест Тейлора не обладает дикриминативной валидностью по отношению к фактору «экстр версия–интроверсия», хотя и обладает определенной конвергентной и ной валидностью по отношению к релевантному фактору «нейротизм». Таким образом, анализ валидности отдельных пунктов служит не только прагматическим целям, но может и должен быть направлен на углубление представлений о содержательно-теоретическом смысле измеряемого свойства.