Пересмотр формулировок

Одним из итогов первого этапа стал пересмотр шкалированных формулировок дескрипторов «Я умею». В частности, все отрицательные предложения были измене­ны на утвердительные, так как в своей прежней форме они затрудняли статисти­ческие подсчеты и не совсем подходили для описания уровней владения языка, которые должен был достичь учащийся. Ниже приводится пример изменения:

1. Отрицательные предложения были заменены на утвердительные с сохране­нием прежнего значения:

• Было: Не могу ответить на вопросы, за исключением самых простых предсказуемых.

• Стало: Могу ответить на простые предсказуемые вопросы.

2. Отрицательные предложения, выражающие отсутствие признака на более низком уровне были изменены так, чтобы выражать присутствие признака на более высоком уровне:

• Было: Не могу описать такие невидимые симптомы как разные вид

боли, например, «тупая», «острая», «пульсирующая» и т.д.

• Стало: Могу описать такие невидимые симптомы как разные виды

боли, например, «тупая», «острая», «пульсирующая» и т.д.

Установление соотношения между дескрипторами «Умею» и экзаменами, принятыми в системе AL ТЕ

После первичной калибровки дескрипторов и описанного выше пересмотра формулировок основное внимание было уделено установлению соотношений между шкалами дескрипторов «Умею» и другими индикаторами уровня владения языком. В частности, речь идет о системе оценок на экзаменах, проводимых членами ALTE, и о системе уровней «Общеевропейских компетенций».

Работа была начата в 1998 году со сбора данных, которые позволили установить соотношение между самооценкой с использованием дескрипторов «Умею» и оценками, выставляемыми на экзаменах по английскому как иностранному языку, проводимых UCLES (Синдикат по проведению местных экзаменов при Кембридж­ском университете). Между ними было найдено четкое соотношение, что позволило начать описание экзаменационной оценки исходя из того, какие умения и навыки из шкалы дескрипторов «Умею» она выражает.

Однако в случаях когда калибровка шкалы основывается на данных самооценки, полученных от большого числа респондентов из разных стран с разным уровнем знаний, можно отметить определенную вариативность в восприятии респондентами своего уровня владения языком. Это происходит потому, что слово «Умею» воспринимается по-разному под влиянием таких факторов как возраст и культурный фон. Для некоторых респондентов это ослабляет корреляцию между

 

дескрипторами «Умею» и полученной ими экзаменационной оценкой. Поэтому были выбраны специальные аналитические подходы, позволяющие установить, насколько возможно, точное соотношение между результатами самооценки на основе шкалы дескрипторов «Умею» и уровнями языковой компетенции, устанавливаемыми экзаменационной оценкой. Возможно, потребуется провести еще одно исследование, в котором самооценкой будут заниматься опытные экзаменаторы, чтобы полно и окончательно охарактеризовать соотношение между экзаменационными оценками и уровнями владения языка, полученными в результате разработки шкалы дескрипторов «Умею».

В этом контексте требуется рассмотреть особую концептуальную проблему -проблему понятия владения языком. Что именно понимается под выражением «Умею»? Необходимо определение, показывающее, насколько вероятным мы считаем тот факт, что человек, обладающий Языковыми знаниями определенного уровня, сможет выполнить определенные задания. Следует ли считать, что человек должен всегда выполнять задание в совершенстве? Это может оказаться слишком жестким требованием. С другой стороны, пятидесятипроцентная вероятность успеха может оказаться слишком низкой, чтобы можно было говорить о владении.

Была выбрана цифра 80%, поскольку результат 80 из 100 очень часто использует­ся при тестировании на основе определенного критерия или в пределах определенной области как показатель владения в данной области. Таким образом, все, кто успешно сдают экзамен определенного уровня в системе ALTE, должны иметь восьмидесяти­процентную вероятность того, что они выполнят задания, выявленные как характер­ные для определенного уровня на шкале. Полученные к настоящему времени данные по участникам кембриджских экзаменов показывают, что эта цифра согласуется со средней вероятностью того, что эти участники укажут, что они отнесут утверждения «Умею» на тот уровень, который от них ожидается. Было показано, что такое про­центное соотношение является в среднем постоянным для экзаменующихся на разных уровнях.

Определив таким образом понятие «Умею», мы создали основание для интер­претации экзаменов определенных уровней в системе ALTE в терминах умений, описываемых при помощи утверждений «Может».

Поскольку пока соотношение между шкалой и результатами экзаменов было определено только для кембриджских экзаменов, будет продолжен сбор данных, отражающих соотношение между шкалой дескрипторов «Умею» и результатами других экзаменов в системе ALTE. Это позволит нам проверить, состоят ли другие экзаменационные системы в таком же отношении к системе пяти уровней, разработанной в системе ALTE.

Установление корреляций с системой «Общеевропейских компетенций»

В 1999 году было проведено анкетирование, в которое были включены «якорные» элементы, взятые из «Общеевропейских компетенций» (1996). В их число входили:

1. Дескрипторы из таблицы для самооценки владения основными языковыми категориями (в зависимости от уровня), которые представлены в Таблице 2 в главе 3;

2. 16 дескрипторов, описывающих коммуникативные аспекты беглости, взятые из иллюстративных шкал в главе 5.

Таблица 2 была выбрана потому, что она получила большое распространение не практике как сводное описание разных уровней. Возможность в рамках ALTE получить значительное количество данных для разных языков и из разных стран позволила практически проверить объективность и приемлемость шкал, приведенных в Таблице 2.

Утверждения, описывающие беглость, были выбраны потому, что в предшество­вавших исследованиях было показано, что оценка их трудности остается практически постоянной при измерениях в рамках Швейцарского проекта (North 1996/2000). Поэтому можно было предположить, что они будут наиболее удобными для выявления соотношения между шкалой дескрипторов «Умею» системы ALTE и системой «Общеевропейских компетенций». Предполагаемые уровни трудности для дескрипторов беглости оказались близки^ к расчетным (North 1996/2000), при соотношении г=0.97. Такой результат может считаться отличным «якорным» элементом для шкал дескрипторов «Умею» и шкал, иллюстрирующих систему уровней «Общеевропейских компетенций».

Однако применение методики Раша для установления корреляций между разными шкалами достаточно непростое. Данные никогда точно не соответствуют модели, необходимо учитывать такие факторы как степень многомерности, избирательность и дифференциальное функционирование элемента (систематическая вариативность интерпретации в зависимости от группы), которые должны быть выявлены и учтены для получения максимально возможно истинного соотношения шкал.

Многомерность важна т. к. хотя умения Говорения/Аудирования, Чтения и Письма тесно связаны, они все-таки отличны друг от друга. Исследования, в которых они анализируются по отдельности, дают более четкие границы между уровнями владения языком.

Вариативность избирательности становится заметной при сравнении Таблицы 2 и дескрипторов «Умею». Шкала в Таблице 2 более развернутая (ввиду более четкого определения границ между уровнями) чем шкала дескрипторов «Умею». Представляется, что причиной этого является то, что Таблица 2 - результат длительного процесса отбора, анализа и уточнения. Поэтому описание каждого уров­ня представляет собой совокупность тщательно отобранных ключевых элементов, что упрощает задачу респондентов выбрать тот уровень, на котором находятся их языко­вые навыки и умения. В результате ответы носят более системный характер, что в свою очередь ведет к более развернутой шкале. Это представляет резкий контраст со шкалой дескрипторов «Умею», которые еще пока короткие, неполные и еще не были объединены в такие обтекаемые целостные описания уровней.

Дифференциальное функционирование элемента (систематическая вариативность интерпретации в зависимости от группы) означает, что некоторые группы респондентов (например, респонденты, имевшие дело с анкетами «Социальная сфера и туризм», «Работа», «Учеба») более тонко различают уровни на некоторых шкалах, использованных в качестве «якорных» элементов. Причины этого пока не удалось определить.

При использовании метода Раша для соотнесения разных шкал между собой следует ожидать действия этих факторов. Они еще раз подчеркивают, что системный качественный пересмотр формулировок является необходимым этапом на пути к окончательной корреляции разных шкал.