I. Методы определения порядковых шкал

 

1. Метод парного сравнения (method of pair comparison)

 

Как указывают Р. Вудвортс и X. Шлосберг (1974), метод парных сравнений введен Дж. Коном (I. Cohn, 1894) при изучении предпочитаемости цветов. Его часто считают наиболее надежным способом получения оценок. По методу парного сравнения все стимулы, которые должны быть оценены в определенном отношении, предъявляются испытуемому во всех возможных парах. Испытуемый должен оценить, какой из пары стимулов количественно больше или лучше в каком-либо отношении, чем другой. Стимулами, оцениваемыми подобным образом, могут быть цвета, оцениваемые по приятности, образцы почерков, оцениваемых по превосходству в каком-либо отношении; имена актеров, оцениваемых по актерской способности; линии, оцениваемые по длине и т. д. Этот метод часто используется для эстетической оценки цвета, рисунков, музыкальных сочинений и.т. д.

Если каждый стимул сравнивается с каждым другим, то число пар будет п (п - 1): 2, то есть образуются 45 пар из 10 стимулов и 190 пар из 20 стимулов.

Один и тот же наблюдатель может оценивать все пары стимулов большое число раз, или много наблюдателей могут оценивать все пары только один раз. В любом случае мы имеем в качестве результатов число выбора (пропорцию) для каждого стимула, оцениваемого выше, чем каждый другой стимул (С), и процент, соответствующий числу выбора (предпочтения) данного стимула (Р). Индивидуальные Свыбора для какого-либо стимула усредняются для группы испытуемых, давая групповые С и Р выбора для данного стимула.

Описывая этот метод психологического шкалирования, Р. Вудвортс и X. Шлосберг отмечают, что работа по этому методу может иногда сокращаться: серию образцов можно разделить на две или более частных серий. Предъявляя все пары стимулов в случайной последовательности, можно избавиться от временной и пространственной ошибок, помещая каждый образец первым в одной паре и вторым в другой. В индивидуальных экспериментах можно приготовить бланк регистрации в форме таблицы, в которой каждый образец представляется в строчке и колонке. Когда все выборы уже сделаны, подсчитываются все занесенные в таблицу в строчке и в колонке и записывается количество под колонкой соответствующего стимула. Таким образом, экспериментатор узнает частоты выборов (С -частоты) каждого стимула.

Когда перед наблюдателем 10 образцов, каждый сравнивается с оставшимися девятью. Чтобы получить процентное или вероятностное выражение, каждое значение С делится на 9 или в общем виде на (п - 1). Возможна определенная проверка: сумма показателей С -частот должна быть равна, средняя величина Р должна быть равна 0,50.

Когда испытуемым сделан выбор между членами каждой пары образцов, эксперимент становится двухкатегориальным, как при методе с постоянными стимулами. Каждое значение С -частот говорит о том, как часто предъявляемый образец был выбран, а соответствующее Р — какова вероятность его выбора, выбора из пространства образцов, если пространство включает все множество образцов. Какой-то образец будет иметь 100% выборов, какой-то — ноль.

Конечно, эти данные ничего не говорят об абсолютном нуле образца, но они дают возможность оценить относительный размер шагов или. интервалов между образцами. Можно ли принять вероятность или частоту за меру качества образца? В эксперименте с постоянными стимулами, где «образцы» могут быть физически измерены, известно, что равные приросты частот скрыто соответствуют равным приростам на физической шкале стимулов. Это верно для средней части шкалы частот, например от Р = 0,30 до Р= 0,70, но не для крайних частот. Можно допустить, что распределение пороговых значений соответствует нормальному распределению, и перевести Р взначения Z.

Методом парных сравнений музыкантами шкалировались имена 19 композиторов в исследовании Е. Фольгманна (Е. Folgmann, 1933). Судьями были 308 оркестрантов филармоний некоторых американских городов. Имя каждого композитора предъявлялось в паре с другим именем. Инструкция Предлагала «подчеркнуть имя того композитора в каждой паре, музыку которого Вы предпочитаете, не обращая внимания на личность или известность композитора. Для того чтобы обеспечить большую достоверность эксперимента, абсолютно необходимо не пропустить ни одной пары, даже если при выборе возникнут затруднения».

Был найден процент выбора каждого композитора при сравнении с другим композитором. В таблице, названной «Шкала предпочтения музыкантами 19 композиторов», Е. Фольгманном сначала даны усредненные значения Р для каждого композитора и эквивалентные им значения Z. Остальная часть таблицы показывает результаты различных способов обработки данных (необращенная Р -шкала, прямое обращение P—Z, обращение по Дж. Гилфорду и по Л. Терстону). В эксперименте такого рода нет абсолютного нуля, эксперимент ограничен данным рядом имен и дает возможность просто упорядочить ряд между наиболее предпочитаемым и наименее предпочитаемым композиторами и указать место каждого из них внутри этого ряда.

 

2. Метод ранжирования (the ranking method)

 

Другое название этого метода — метод качественного упорядочивания (ihe order of merit). Пользуясь этим методом, испытуемый располагает стимулы в порядковый ряд по какому-либо признаку. Эта задача возникает перед нами главным образом тогда, когда встречаются разнородные стимулы, которые не имеют явных физических размерностей, но которые необходимо упорядочить и поставить в отношение по определенному признаку.

При применении этого метода одни и те же стимулы ранжируются (упорядочиваются) несколькими испытуемыми не один раз и вычисляется средний ранг для каждого стимула. Это удобный метод, если только количество стимулов не слишком большое. Обычно все множество образцов стимулов, подлежащее ранжированию, предъявляется одновременно и испытуемому разрешается менять порядок отдельных стимулов, прежде чем он произведет окончательное их ранжирование.

Одним из первых применений этого метода является его использование в исследовании М. Кеттела (М. Cattell, 1903) для выявления ведущих ученых в естественных науках по оценке их коллег. Так, он предложил 10 психологам проранжировать 200 американцев, которые претендовали на звание психолога. Десять судей работали самостоятельно, независимо друг от друга. Затем М. Кеттел подсчитал среднее всех 10 рангов, определенных для каждого психолога. Список рангов без расшифровки имен был опубликован в 1903, а сам список имен — в 1933 г. Некоторые из него стали скорее философами, чем психологами.

Этот эксперимент продемонстрировал, что экспертные оценки дают только то, что они открыто могут дать, а именно результирующее мнение 10 компетентных судей. Они показывают репутацию человека у экспертов, но совсем не обязательно его способности или вклад (в науку). Не исключены постоянные ошибки, происходящие по различным неконтролируемым причинам, которые необходимо учитывать при интерпретации результатов.

На основании данных ранжирования нельзя создать шкалу превосходства, имеющую в основании абсолютный нуль. Что можно получить от средних рангов? Предлагая достаточному числу компетентных судей ранжировать некоторые образцы, получаем почти равные средние ранги там, где образцы близки между собой, и сильно отличающиеся, когда образцы заметно не равны; средние ранги будут правильно соответствовать образцам и в порядке, и в пространстве. Точный порядок, как утверждает М. Кеттел, очень неопределенен в том случае, когда средние ранги примерно равны.

Для полного использования этого метода должно быть определенное число образцов, все они должны классифицироваться каждым испытуемым. Тогда можно найти количество согласий и несогласий среди судей. Р. Вудвортс и X. Шлосберг показывают, как один и тот же вид шкалы можно получить из ранжирования и парных сравнений стимулов. Ранжирование можно свести к частотам выбора (С) и затем к величинам P и Z, потому что метод ранжирования близок к методу парных сравнений; по существу, он является сокращенной формой метода парных сравнений, так как в основе того и другого метода лежит операция сравнения объектов по определенному признаку.

Если испытуемый оценивает определенный образец номером 1, то есть помещает его выше других из 10 предъявленных образцов, он, очевидно, предпочитает этот образец девяти другим. Если он оценивает этот образец номером 2, то он предпочитает его восьми другим и т. д. Каждый ранг (Р) может превратиться в частоту выбора (С). И тогда с n -образцами С = п - Р.

Метод ранжирования нередко вызывает критику, так как считается, что ранги являются просто показателями порядка и не должны использоваться для количественных описаний. Конечно, шкалирование путем ранжирования ограничено оценкой образцов и не имеет абсолютного нуля, без которого шкалу трудно называть количественной. Нельзя сказать, что один образец в два раза лучше другого, как нельзя сказать, что 80° вдвое жарче 40°. Но можно утверждать, что средние ранги — это нечто большее чем порядковые номера. Когда один испытуемый ранжирует образцы, он ничего не говорит об их пространстве. Некоторые могут их ставить близко друг к другу, другие их расставляют далеко друг от друга, но все сводится к тому, что один из образцов обладает более выраженным качеством, чем ранжированные ниже его. Однако средние ранги не являются результатом работы одного испытуемого. Они являются результатом работы группы испытуемых (или иногда результатом повторных независимых суждений одного и того же субъекта). Хотя один судья ограничивается порядковым номером, группа судей имеет в распоряжении целую шкалу. Она использует дробную шкалу средних рангов иногда с большим числом делений, иногда с меньшим, и ее средние ранги хорошо совпадают с действительными параметрами образцов (пространством образцов), когда эти параметры точно известны, как в случае весов.

Средние ранги, как уже показывалось, могут быть преобразованы в частоты, и с ними обращаются как с частотами в методах парных сравнений и постоянных стимулов. Даже в методе постоянных стимулов исходным результатом отдельной пробы является порядковая оценка - переменный стимул оценивается как больший или меньший по сравнению со стандартом, но насколько больше или меньше — не сообщается. Много информации не извлечешь из одной оценки, но если переменный стимул сравнивается со стандартом 20 раз, то частота оценок может сообщить больше, чем просто о порядке. Если один переменный стимул оценивается как больший, чем стандарт, в 60% случаев, а другой — в 90%, то последний лежит на психологическом континууме гораздо выше, чем стандарт. Эта целая группа методов основывается на психологическом принципе, который не охватывается логикой номера или порядка.

В процессе шкалирования всегда стоит вопрос: в какой мере субъективная оценка объектов или степени их отличия друг от друга отражает объективные (физические) характеристики этих объектов и различий между ними в тех или иных качествах? Это можно проверить лишь на таких объектах, которые можно измерить не только субъективно (психологически), но и объективно — физическими мерами. Таким удобным объектом сопоставления является субъективная шкала для линий по длине, построенная на основе экспериментальных результатов, и их физическая шкала.

Поэтому в своем исследовании мы сопоставляли психологические шкалы, созданные с помощью пяти различных методов (методом крайних градаций, являющимся видоизмененным методом средних градаций, методом ранжирования, методом прямой балльной оценки, методом парных интервалов, методом измерения времени реакции), с физическим измерением одномерного континуума — линий по длине 5—100 мм (Т.А. Ратанова, 1968; 1972). Результаты, полученные методом парных интервалов и методом измерения времени реакции, не излагаем. Представляем результаты, полученные методом ранжирования.

Методом ранжирования в наших экспериментах шкалировались линии от 10 до 100 мм по частям. Всего было 9 частей. Части ранжирования: линии 10-20 мм, 21-30, 31-40, 41-50, 51-60, 61-70, 71—80, 81—90, 91—100 мм. В каждой части испытуемым для ранжирования предъявлялись 10 горизонтальных линий, за исключением первой части, где было 11 линий (линии были начерчены на карточках из белой ватманской бумаги). Для шкалирования линий в каждой части привлекались 11 испытуемых.

Этот метод шкалирования заключался в том, что испытуемый должен был расположить данные ему линии в порядке увеличения длины линий от меньшей к большей. Испытуемым давалась следующая инструкция: «Вам даются 10 (11) карточек с горизонтальными линиями. Линии незначительно отличаются друг от друга. Разложите их в порядке увеличения длины линий от меньшей к большей. Сравнивать линии можно, только положив их рядом — слева направо, но не кладя их друг над другом, выше— ниже».

Были высчитаны средние арифметические ранжирования каждой линии во всех частях и соответствующие им сигмы. Результаты показали близость субъективных оценок длины отрезков линий их объективным величинам. Отклонения (преувеличение или преуменьшение) были в пределах 0,1—1,6 мм. В 5 случаях из 91 имела место недооценка линий большей величины и переоценка линий меньшей величины; это линии величиной 66 и 67,77 и 78,79 и 80,86 и 87,88 и 89 мм. В одном случае не различались линии величиной 94 и 95 мм. Наиболее точное соответствие субъективных оценок объективным величинам линий наблюдалось, как правило, в самом начале, в середине и конце ранжируемого ряда; в промежутках между ними имело место меньшее соответствие.

Сигмы возрастали постепенно от меньших по величине ранжируемых линий к большим (от 0 до 2,7 31), при ранжировании больших линий отмечались относительно небольшие сигмы (0,632; 0;944 и т. п.). Результаты экспериментов позволяют сказать, что субъективная шкала для линий от 10 до 100 мм, полученная методом ранжирования, близка к их физической шкале. Обнаружена зависимость между объективной величиной линий и величиной дисперсии.

Анализ процесса ранжирования линий показал, что, в сущности, этот метод основан на методе парного сравнения, но не полного, а сокращенного. Испытуемый располагает каждую следующую линию за предыдущей, сравнив ее не абсолютно со всеми возможными линиями, а только с близкими, то есть с теми, которые отличаются от раскладываемой в данный момент линии на небольшую величину. Но это сравнение происходит всегда попарно.

Методом крайних градаций шкалировались линии от 5 до 100 мм и углы величиной от 5 до 90°. Испытуемым предъявлялись две горизонтальные линии (на карточках из белой бумаги) постоянной длины, например 5 и 10 мм. Одновременно предъявлялась третья линия, длина которой при каждом последующем показе увеличивалась на 1 мм при предъявлении линий от 11 до 20 мм или уменьшалась на 1 мм, когда показывались линии от 20 до 11 мм. Испытуемый должен был сравнивать различия между первой и второй линиями с различием между третьей и второй и говорить про второе различие, каким оно кажется: «меньше», «перестает казаться меньше», «начинает казаться больше», «больше» (при движении от меньшей третьей линии к большей) или «больше», «перестает казаться больше», «начинает казаться меньше», «меньше» (при движении от большей третьей линии к меньшей). Эта процедура повторялась дважды.

На основании 8 ответов каждого испытуемого высчитывалась средняя величина третьей линии, которая субъективно отличалась от второй настолько же, насколько вторая линия отличалась от первой. Были проведены 18 подсерий. Если в первой подсерии длина первой и второй линий была 5 и 10 мм, то в каждой последующей подсерии она увеличивалась на 5 мм. В каждой подсерии участвовали 16 испытуемых.

Аналогичным образом шкалировались угловые величины от 5 до 90°. С угловыми величинами были проведены 16 подсерий, в каждой подсерии участвовали 16 испытуемых.

Общим итогом описанных экспериментов явился тот факт, что субъективное равенство двух различий имеет место тогда, когда эти различия объективно равны друг другу. Но все-таки имеется некоторое очень небольшое расхождение между этими величинами. При сравнении линий обычно вторая величина была несколько меньше первой (в пределах до 0,7 мм). При сравнении углов обычно вторая величина несколько больше первой (в пределах до 0,3°). Испытуемыми отмечалась бблыыая трудность определения различий между величинами линий, чем углов. Средние квадратические ошибки, соответствующие субъективной величине третьего раздражителя, колебались в пределах 0,113—0,220. Иными словами, полученная указанным методом субъективная шкала длины линий и шкала углов по величине соответствуют объективным (физическим) шкалам их. Отклонения от соответствия субъективных оценок длины отрезков линий их объективным величинам по методу, крайних градаций были в пределах 0,1—0,7, то есть точность шкалирования методом крайних градаций была большая, чем методом ранжирования.

 

3. Метод оценок (суждений) (rating scale)

 

Метод оценок, или суждений, используется при психометрическом шкалировании объектов, не имеющих метрических мер измерения, то есть у которых нет физического континуума, на котором можно было бы расположить стимульные объекты.

Как отмечают Р. Вудвортс и X. Шлосберг (Experimental psychology, 1958), по-видимому, первым создателем психометрической шкалы является Ф. Гальтон (F. Gallon, 1883), оценивавший психологическую функциональную зависимость. Д. Меджер (D. Major, 1895) использовал метод оценок (суждений) для определения «аффективных расстояний» цветов. С тех пор метод оценок использовался для различных целей в экспериментальной психологии. В повседневной жизни мы часто встречаемся с методом оценок (суждений), например для описания и оценок характеристик личности во многих областях ее деятельности, где требуется количественное описание человеческих качеств. Подробное описание метода есть у Р. Вудвортса и X. Шлосберга (1974).