Методы, использующие внешний критерий

Выделяют три основные группы внешних критериев: экспертные, экспериментальные и «жизненные».

К числу экспертных критериев относятся оценки, суждения, заключения об испытуемых, вынесенные экспертом или группой экспертов, в качестве которых выступают специалисты, педагоги, руководители, психологи, врачи и т. п. Объективизация внешнего критерия достигается увеличением числа экспертов. При этом применяется четыре возможных метода определения экспертного критерия: коллективная оценка, средневзвешенная оценка, ранжирование, парное сравнение.

При коллективной оценке эксперты совместно оценивают испытуемого по диагностируемому качеству с помощью предложенной разработчиком теста балльной шкалы. Условием коллективной оценки является выработка общего компромиссного мнения. Достижение консенсуса при коллективной оценке зависит от личностных особенностей и характера группового взаимодействия экспертов. Также немаловажным фактором является разрешающая способность заданной оценочной шкалы. Чем меньше баллов в этой шкале, тем легче достигается соглашение между экспертами, но тем грубее выставляемые ими оценки. В то же время излишняя детализация шкалы не только не приводит к повышению точности оценки, а нередко вызывает ненужные и длительные разногласия экспертов. Поэтому обычно применяются оцененные шкалы, содержащие до 10 баллов.

При средневзвешенном оценивании эксперты независимо друг от друга определяют значения критериального показателя, которые затем усредняются. Здесь следует обратить внимание на то, что перед усреднением оценок из них должны быть исключены явно отклоняющиеся, аномальные оценки. Метод ранжирования в отличие от средневзвешенной оценки связан не с проецированием того или иного качества испытуемого на числовую оценочную шкалу, а с определением рангов выраженности исследуемого качества в группе испытуемых. Полученные ранговые места при независимом оценивании также могут усредняться, но корректнее в данном случае пользоваться медианными оценками: каждому испытуемому приписывается ранг, равный медиане ряда рангов, присвоенных ему всеми экспертами..

При использовании слабо дифференцированных оценочных показателей или при низкой квалификации экспертов применяется метод парного сравнения. Задача экспертов состоит в попарной расстановке испытуемых по позициям альтернативных признаков («общительный-замкнутый», «завистливый-бескорыстный» и т. п.). Показателем места, занимаемого в ряду других, наиболее часто служит общее число предпочтений данного испытуемого. Этот показатель обычно нормируется по отношению к числу экспертов и общему количеству сравниваемых испы­туемых и выражается в процентах.

Более сложные варианты приведения результатов ранжирования и парного сравнения испытуемых к одномерному критериальному показателю связаны с применением компьютерных алгоритмов многомерного шкалирования. Метрические и неметрические методы многомерного шкалирования в достаточно полном объеме представлены в /Айвазян С. А. и др., 1989/. Там же приведены ссылки на литературу для более подробного ознакомления с этими методами.

На практике значительно большее распространение получили экспериментальные критерии внешней информативности. Это обусловлено в основном трудностью организации экспертиз и использования обычных количественных методов измерения требуемого качества. Экспериментальными критериями служат результаты одновременного и независимого обследования испытуемых другим тестом, который считается апробированным и предположительно измеряющим то же свойство, что и конструируемый тест. Естественно, что просто конструирование теста-дубликата имеет смысл в случае необходимости создания параллельной формы. Наиболее целесообразен такой подход, когда ставится задача улучшить собственно диагностические и эксплуатационные характеристики известного психодиагностического инструментария.

В качестве жизненных критериев используют объективные социально-демографические и биографические данные (стаж, образование, профессия, прием или увольнение с работы), показатели успеваемости, производственные показатели эффективности выполнения отдельных видов профессиональной деятельности (рисование, моделирование, музыка, составление рассказа и т. д.). Эти критерии наиболее часто применяются для конструирования тестов способностей к обучению, дости­жений в отдельных дисциплинах, интеллекта, методик для профотбора и профориентации, тестов общих и специальных способностей и т. п. Внешний критерий может быть представлен номинальным, ранговым или количественным показателем, «привязанным» к объектам анализируемой ТЭД. Этот показатель в дальнейшем будет обозначаться z. Специфика z влияет на выбор метода определения параметров диагностической модели.