Калибровка дескрипторов для самооценки

К настоящему моменту в рамках проекта DIALANG было проведено только одно исследование, посвященное калибровке дескрипторов для самооценки. (Калибровка -это процесс, при котором при помощи статистических методов происходит определе­ние уровня сложности положений, утверждений и т.д., с последующей организацией их в единую шкалу). Калибровка основывалась на выборке из 304 участников (прове­дение полного теста), которые также выполнили отдельные тесты в системе DIALANG для финского языка. Дескриптор для самооценки были

предоставлены участникам исследования либо на шведском языке (для 250-ти его носителей), либо на английском. Большинство участников могли также обращаться к финскому варианту дескрипторов².

Полученные результаты были проанализированы при помощи программы OPLM (Verhelst et al. 1985; Verhelst and Glass 1995)³. Результаты могут считаться положи­тельными: более 90% дескрипторов могли быть шкалированы (то есть они «подходи­ли» к использованной статистической модели). Три основные шкалы самооценки, которые были образованы на основе этой калибровки, являются однородными, о чем свидетельствуют высокие индексы надежности (альфа Кронбаха): 0.91 для чтения, 0.93 для аудирования и 0.94 для письма⁴.

Сходная калибровка, основанная на подходе, разработанном группой анализа данных, будет произведена и при опробовании материалов для остальных тринадцати языков. Это позволит выяснить, могут ли быть воспроизведены результаты первого исследования и существует ли тенденция, ввиду которой отдельные дескрипторы с повторяющейся регулярностью больше подходят для проведения самооценки.

Хотя первая калибровка - единственное исследование подобного рода, важно отметить, что она подтверждает, насколько качественно сформулированы дескрип­торы для самооценки на нескольких языках в рамках DIALANG. Возможность сделать такой вывод обусловлена тем, что участники исследования могли выбирать любой вариант дескрипторов для самооценки (английский, шведский, финский) или даже пользоваться всеми тремя одновременно, хотя большинство из них, скорее всего, предпочли шведский вариант. Благодаря тщательно разработанной процедуре перевода мы можем с уверенностью предположить, что дескрипторы для самооценки адекватно сформулированы на разных языках, хотя это предположение должно быть проверено в ходе других калибровочных исследований.

Дополнительное доказательство качества шкал, разработанных для самооценки в рамках проекта DIALANG - и в рамках «Общеевропейских компетенций» в целом -было получено д-ром Кафтандиевой путем соотнесения величин, указывающих на трудность тех или иных дескрипторов, входящих в настоящее исследование, с величинами для этих же дескрипторов, полученных в ходе другого исследования (North 1996/2000). Величина совпадения составила 0.83 или даже 0.897, если исключить один дескриптор, дающий на удивление низкое значение совпадения.

Документ Cl объединяет 107 дескрипторов для самооценки умений чтения, аудирования и письма, отобранных в результате калибровочного исследования на материале финского языка. Дескрипторы в каждой таблице организованы от самого простого к самому сложному. Дескрипторы, заимствованные не из «Общеевропей­ских компетенций», даны курсивом.

_____________________

² Исследование было проведено в Центре прикладных лингвистических исследований в университете города Jzvâskzlâ, который являлся координационным центром проекта в 1996-1999 годах, рабочей группой по анализу полученных результатов в составе: Fellyanka Kastandijeva (председатель), Norman Verhelst, Sauli Takala, John de Jong и Timo Tôrmâkangas. Координационным центром на втором этапе проекта DIALANG является университет Freie, Берлин.

³ Программа OPLM представляет собой дальнейшее развитие методики Раша и позволяет калибруемым объектам различаться своими параметрами. Разница между этой моделью и моделью, основанной на соотношении двух параметров, заключается в том, что параметры различия не оцениваются, а вводятся как известные постоянные.

⁴ Когда дескрипторы калибровались в сочетании друг с другом, совпадение в рамках общей модели было достаточно значимым (р=0.26). Совпадение при калибровке отдельно для каждого вида деятельности также было значимым (р=0.10 для чтения, 0.84 для письма и 0.78 для аудирования).

ДРУГИЕ ШКАЛЫ В РАМКАХ ПРОЕКТА DIALANG, ОСНОВАННЫЕ НА «ОБЩЕЕВРОПЕЙСКИХ КОМПЕТЕНЦИЯХ»

 

В дополнение к дескрипторам для самооценки DIALANG использует две описательные шкалы, основанные на «Общеевропейских компетенциях». Эти шкалы касаются чтения, письма и аудирования:

• Более сжатый вариант сопровождает результаты тестирования;

• Более полный вариант составляет часть комментариев.

Сжатый вариант шкалы

DIALANG использует более сжатый вариант шкалы для чтения, аудирования и письма при сообщении результатов теста. Когда учащиеся получают результаты тестирования, он сообщается им в терминах шкалы «Общеевропейских компетен­ций», от AI до С2, и значение результата также описывается с использованием этих шкал. Эти шкалы прошли дополнительную проверку на предмет того, могут ли они быть применимы в рамках проекта DIALANG. Двенадцать экспертов распределили утверждения между шестью уровнями. Затем эти общие шкалы были использованы экспертами для установления корреляции между положениями теста для финского языка и системой «Общеевропейских компетенций». Основание для шкалы изложено в таблице 2 «Общеевропейских компетенций»; описания были слегка модифицирова­ны таким же образом, как и дескрипторы самооценки. Эти шкалы представлены в документе С2.