Валидность и надежность

Адаптация любой психодиагностической методики, созданной в иных культурно-исторических условиях, неизбежно требует не только квалифицированного перевода, но и соблюдения всех условий конструирования новых тестов: стандартизации, проверки надежности и валидности получаемых данных.

Из литературы известно, что в странах Европы в специальных исследованиях надежность и валидность классического варианта многофакторной методики Р Кеттелла была доказана. Переведенные и адаптированные формы опросника успешно применялись в условиях различных культур, что подтвердило предположение об универсальности измеряемых характеристик личности.

В отечественной психологии опыт исследовательского и практического применения данной методики составляет без малого три десятилетия.

Одна из первых попыток психометрической адаптации была осуществлена ленинградскими психологами И. М. Палеем и М. С. Жамкочьян А московскими психологами А.Г. Шмелевым и В. И. Похилько в 1983 г. была осуществлена попытка компьютеризации методики Кеттелла Под руководством А. А. Бодалева в это же время проводилась адаптация методики. Однако эти попытки касались только формы А (187 вопросов) и проводились в основном на студенческих выборках объемом, не превышающем 200 человек. Известно, что для осуществления психометрической адаптации необходимо проводить исследование с учетом генерализованной популяции, возрастных норм, особенностей профессиональных групп и социального статуса. Сам Кеттелл, учитывая особенности американской популяции, апробировал методику в различных штатах, отличающихся друг от друга по геополитическим параметрам. В выборочной совокупности учитывались следующие показатели: а) численный состав не менее 500 человек; б) пол; в) возраст; г) профессиональная направленность (в основном «человек - техника», «человек - образ» и «человек -человек»); д) социальный статус.

Таким образом, попытка адаптации опросника Кеттелла отечественными психологами осуществлялась, во-первых, лишь по формам А и В, во-вторых, не на репрезентативных выборках, в-третьих, только психометрической процедурой, то есть проводился анализ корреляций ответов с исходной переводной версией и перефакторизация на конкретной выборке. В результате значимые корреляции с релевантным фактором не были обнаружены ни в одной из исследуемых выборок и каждый исследователь получил свои, достаточно отличные от других исследователей, данные.

Однако в практике методика получила широкое распространение, стала популярной и в отечественных прикладных исследованиях, постепенно накапливая эмпирический материал, дающий основание для использования опросника.

Наиболее полная адаптация этой методики, в частности формы С (105 вопросов), проводилась на кафедре социальной психологии психологического факультета ЛГУ с 1972 по 1985 гг., результаты отражены в диссертационных работах Э. С. Чугуно-вой, А. Н. Капустиной и Л. В. Мургулец.

Исследования проводились в разных регионах страны (в 12 городах) на выборке инженеров различных специальностей, с учетом их статуса и возраста (1217 человек), а также на выборке актеров, чья профессия является идеальной моделью профессиональной направленности типа «человек - человек» (80 человек) и на выборке студентов различных вузов (250 человек).

Перевод и адаптация методики в этих исследованиях проводились при консультации И. М. Палея. После пилотажного исследования некоторые вопросы-утверждения опросника были адаптированы в соответствии с принятыми у нас социальными нормами.

На разных этапах исследований была определена внешняя, теоретическая (концептуальная, факторная, оценочная) и практическая валидность формы С методики Кеттелла.

В качестве одной из специальных процедур определения ва-лидности и надежности этой методики применялся корреляционный анализ параллельных форм опросника (форма А и С), описанная в работе Л. В. Мургулец, в которой убедительно показано соответствие результатов этих двух форм [11, с. 26].

С этой же целью сравнивались группы студентов различной профессиональной направленности: студенты технических, гуманитарных и художественных вузов. Общий объем выборки составил 250 человек.

В результате были получены достоверные на 1%-ном уровне различия по факторам А, I, О и на 5%-ном уровне различия по факторам С, F, G и Q₂ (табл. 3).

Таблица 3. Средние результаты по студенческим группам

Группа

Фактор

А

В

С

Е

F

G

Н

I

L

М

N

Q,

Q2

Q3

Q4

MD

Технические вузы (60 чел.)

Гуманитарные вузы (120 чел.)

Художественные вузы (70 чел.)

Различия показывают, что каждая группа студентов обладает собственными личностными особенностями.

Для определения дифференциальной валидности было проведено несколько исследований с использованием оценочных суждений экспертов. Так, например, была смоделирована экстремальная ситуация вступительного экзамена в театральный институт на актерское отделение по типу естественного полевого эксперимента А. Ф. Лазурского. «Абитуриентами» - то есть испытуемыми - были студенты II курса психологического факультета (20 человек). В качестве «экспертов» (приемная комиссия), оценивающих студентов по определенным профессиональным качествам (всего 17 качеств), характеризующим коммуникативные свойства личности, выступили специалисты по оценке личностных качеств, проявляющихся в поведении: психологи-преподаватели психологического факультета ЛГУ (11 человек) и ведущие преподаватели ЛГИТМиК (10 человек). Перечень ведущих актерских и общечеловеческих качеств, проявляющихся в общении и поведении (который приводится ниже), был получен благодаря анализу литературных данных по театральной педагогике и выявлен в результате экспертных оценок. Экспертами по этим качествам выступили ведущие преподаватели ЛГИТМиК: профессора?. С. Агамирзян, 3. Я. Корогодский, И. Э. Кох, К. Н. Черноземов, В. В. Петров, Г. А. Товстоногов, И. В. Владимиров, Д. И. Карасик, Л. Ф. Макарьев, М. Л. Рехельс.

В результате на 1%-ном уровне были получены корреляции между некоторыми личностными качествами, которые оценивали эксперты, и показателями по методике Р. Кеттелла: личностное качество «эмоциональность» коррелировало с факторами С, F и I, то есть с факторами, оценивающими эмоциональную сферу; качество «воображение» - с факторами М и I, то есть с факторами, характеризующими мечтательность, иррациональность личности; качества «общение» и «заразительность» - с факторами A, F и Н, то есть с факторами, описывающими экстраверсию, общительность личности; качества «вера в предлагаемые обстоятельства» и «правдивость» с факторами I и L, характеризующими доверчивость и мечтательность; качества «самоконтроль» и «скованность» - с факторами Q₃ и Q₄, выявляющими самоконтроль и эмоциональную напряженность; качества «юмор», «ши рота и гибкость ума», «оригинальность мышления» - с факторами В, G, Q,, I, оценивающими интеллектуальную сферу (В и Q,) и творческую направленность личности (G и I).

В другом исследовании для определения валидности методики была проведена процедура корреляционного анализа оценок, выявленных у испытуемых по личностному тесту Р. Кеттелла, и оценок экспертов, полученных при помощи групповой оценки личности. Эти результаты могут служить оценкой валидности опросника и имеют отношение к определению совпадающей валидности (имеется в виду соотношение результатов тестов с деятельностью, с ее успешностью). Эти выводы подтверждают эмпирические материалы, полученные на протяжении более чем десятилетнего исследования и отраженные в кандидатских диссертациях В. А. Чикер, Л. В. Мургулец, А. Н. Капустиной, докторской диссертации Э. С. Чугуновой.