Результаты. Шкалирование дескрипторов для различных языковых умений и различных видов языковой компетенции (лингвистической
Шкалирование дескрипторов для различных языковых умений и различных видов языковой компетенции (лингвистической, прагматической, социокультурной) упирается в вопрос о том, возможно ли объединить оценку этих различных аспектов в рамках единой измерительной системы. Эта проблема не связана с использованием модели Раша, а присуща всем видам статистического анализа. Однако использование методики Раша предполагает очень строгий отбор категорий. Результаты экспериментов, данные, полученные при преподавательской оценке владения языком, и данные, полученные при самооценке, могут давать различные результаты при интерпретации. В процессе оценки учителями языковых компетенций учащихся некоторые категории оказались неудачными и были изъяты из общего перечня категорий. К ним относятся: а) социокультурная компетенция Эти дескрипторы описывают социокультурную и социолингвистическую компетенцию. Неясно, были ли проблемы вызваны а) отличием этого явления от языковой компетенции; б) нечетко сформулированными дескрипторами, которые были отмечены как неудачные в ходе семинаров; или в) непоследовательными ответами преподавателей, проводивших оценку и не обладавших достаточными знаниями об оцениваемых учащихся. Эта проблема затронула дескрипторы, описывающие умения читать и оценивать достоинства художественной литературы. б) языковые умения, необходимые для профессиональной деятельности Эти дескрипторы требовали от преподавателей высказывать догадки относительно языковых умений (в основном связанных с профессиональной деятельностью), выходящих за пределы непосредственно наблюдаемых ими навыков в учебных аудиториях, как-то: телефонные звонки; участие в деловых встречах и заседаниях; проведение официальных презентаций; написание эссе и докладов; ведение официальной переписки. Эти проблемы возникали несмотря на участие в проекте взрослых учащихся и учащихся профессионально-технических учебных заведений. в) отрицательные понятия Сюда включены дескрипторы, которые потребовали более упрощенной формулировки, разъяснения или повтора, и которые включают в себя отрицательные понятия. Такие дескрипторы воспринимались лучше, когда их включали в формулировки, содержащие позитивные положения, в качестве дополнительных условий, например: В основном понимает обращенную к нему/ней разборчивую нормативную речь при обсуждении знакомых тем, при условии, что он/она может время от времени просить повторить или переформулировать отдельное высказывание. Для преподавателей, участвующих в исследовании, оказалось, что чтение должно оцениваться по отдельной шкале в отличие от устного общения и порождения речи. Однако принципы отбора данных позволили шкалировать чтение отдельно и затем соотнести шкалу для чтения с основной шкалой по окончании проекта. Письменным навыкам не уделялось большого внимания, а дескрипторы, описывающие порождение письменной речи (см. глава 4), были разработаны на основании дескрипторов, описывающих порождение устной речи. Относительно высокая стабильность количественных значений на шкале для чтения и письма, что указывается в «Общеевропейских компетенциях» и подтверждается проектами DIALANG и ALTE (см. Приложения С и D, соответственно), позволяет заключить, что подходы, примененные к оценке умений чтения и письма, в целом были достаточно эффективными. Трудности с вышеупомянутыми категориями связаны с проблемой выбора между одно- и многомерным шкалированием. Однако больше трудностей в этом плане было вызвано не многомерностью шкалирования, а контингентом учащихся. Было несколько случаев, в которых трудности, вызываемые каким-либо дескриптором, зависели от учебной аудитории. Например, преподаватели предполагают, что взрослые учащиеся на начальном этапе понимают задания из «реальной жизни» легче, чем 14-летние подростки. С интуитивной точки зрения это должно быть правильно. Такое различие может быть описано как «дифференциальная функция понятия» (ДФП). Дескрипторы, обладающие ДФП, по возможности, были исключены из системы уровней «Общеевропейских компетенций», включенных в Таблицы 1 и 2 в главе 3. Не было отмечено значительного влияния со стороны изучаемого языка и никакого влияния со стороны родного языка, за исключением того, что преподаватели родного языка могут более строго интерпретировать термин «понимание» на продвинутых этапах, особенно при изучении литературы. Применение Описательные дескрипторы, перечисленные в главах 4 и 5, были либо (а) помещены на тот уровень, на котором этот дескриптор был откалиброван непосредственно в ходе исследования; (б) созданы путем перекомбинирования элементов дескрипторов, откалиброванных для этого уровня в ходе исследования, или (в) отобраны на основании результатов качественного этапа (семинары) или (г) сформулированы на стадии интерпретации для того, чтобы заполнить пробел на созданной эмпирическим путем вспомогательной шкале. Последнее положение относится почти исключительно к уровню владения языка в совершенстве, для которого в исследование было включено незначительное количество дескрипторов.
|
