Количественные методы

Количественные методы предполагают значительный статистический анализ и тщательную интерпретацию результатов.

№ 10 Дискриминантныи анализ: На первом этапе ряд экзаменационных материалов, которые уже были рассортированы (предпочтительно группой экзаменаторов), подвергается дискурсивному анализу. Этот качественный анализ выявляет и подсчитывает частотность различных качественных характеристик. Затем при помощи множественной регрессии определяется, какие из выделенных черт наиболее значимы для отнесения материала к определенному уровню. Эти ключевые черты затем включаются в формулировки дескрипторов каждого уровня (Fulcher 1996).

№ 11 Многоаспектное шкалирование: Вопреки названию, это описательная мето­дика, с помощью которой происходит выделение ключевых черт и определение отношения между ними. Языковая компетенция оценивается при помощи ана­литической шкалы, объединяющей несколько категорий. В результате анализа может быть показано, какие категории сыграли определяющую роль при выяв­лении уровня языковой компетенции, и может быть создана диаграмма, выра­жающая степень сосуществования или удаленности категорий друг от друга. Таким образом, эта методика позволяет выявить и опытным путем проверить значимые критерии (Chalob-Deville 1995).

 

№ 12 Теория ответа на вопрос (ТОВ) или анализ «скрытых черт»: ТОВ предлагает систему взаимосвязанных измерений или моделей шкалирования. Наиболее простая и надежная - модель Раша, названная так в честь Георга Раша, датского математика. ТОВ представляет собой развитие теории вероятности и используется в основном для определения трудности того или иного задания в банке заданий. Если ваш уровень языковой компетентности - продвинутый, то вероятность вашего правильного ответа на простой вопрос очень высока. Вероятность же правильного ответа на вопрос продвинутого уровня для начинающего - мала. Этот простой факт развернут в методику шкалирования, основанную на модели Раша, которая затем используется для обеспечения однородности пунктов на одной шкале. Дальнейшее развитие этого подхода позволяет применить его к шкал.ирйрадрю дескрипторов как коммуникативных умений, так и тестовых заданий.

При анализе по методике Раша различные тестовые задания или опросники могут быть преобразованы в непрерывную цепочечную структуру благодаря использованию «якорных элементов», которые являются общими для соседствующих уровней. На нижеприведенной схеме эти «якорные элементы» заштрихованы серым. Таким образом, задания могут быть приспособлены для индивидуальных категорий учащихся, оставаясь при этом в рамках единой шкалы. Однако следует учесть, что эта модель искажает результаты тех, кто набирает чрезвычайно большое и чрезвычайно маленькое количество очков на разных уровнях.

 

				ТЕСТ С
		ТЕСТ В
ТЕСТА

 

Преимущество анализа по методу Раша состоит в том, что он позволяет получить шкалирование, которое не зависит от конкретных результатов теста или тестовых заданий/опросников, использованных для анализа. Полученные значения шкалы остаются постоянными для будущего тестирования, при условии, что эти будущие тестируемые могут рассматриваться как новые группы в рамках того же статистического населения. Систематическое измене­ние значений шкалы в связи с течением времени (например, ввиду изменений в учебной программе или в подготовке экзаменаторов) могут быть выражены численно и учтены (Wright and Masters 1982; Lincare 1989).

Анализ по методу Раша может быть применен к шкалированию дескрип­торов несколькими способами:

(а) Данные, полученные качественными методами № 6, 7, 8, могут быть при помощи методики Раша описаны в виде арифметической шкалы.

(б) Могут быть разработаны тесты для того, чтобы упростить практическое применение дескрипторов, описывающих владение языком, в частности, в экзаменационных заданиях. Эти задания могут быть затем отшкалированы по методу Раша, и их значения на этой шкале будут выражать относительную трудность каждого дескриптора (Brown et al 1992; Carroll 1993; Masters 1994; Kirsch 1995; Kirsch and Mosenthal 1995).

(в) Дескрипторы могут использоваться как пункты опросника для оценки преподавателями знаний своих учащихся (Может он/она сделать X?). Таким образом, дескрипторы могут быть откалиброваны и размещены на арифметической шкале подобно тому, как задания в банке заданий классифицированы по уровню трудностей. • (г) На основании этой методики были разработаны шкалы дескрипторов, опи­сываемых в главах 3, 4 и 5. Все три проекта, описываемые в приложениях В, С и D, использовали метод Раша для шкалирования дескрипторов и для установления соотношения полученных шкал между собой.

Помимо разработки шкал, метод Раша может быть использован для учета того, каким образом осуществляется практическое применение полученных шкал оценки. Это помогает уточнить нечеткие формулировки, определить, малы или наоборот излишне крупными являются применяемые отрезки шкалы и осуществить уточнение и пересмотр шкал (Davidson 1992; Milanovic et al 1996; Stansfield and Kenyon 1996; Tyndall and Kenyon 1996).

Рекомендуется обдумать и ответить на следующие вопросы: • до какой степени оценки, выставляемые в их системе, обладают сходным значением ввиду использования одних и тех же определений; • какие из вышеперечисленных методов и какие еще методы могут быть использованы для разработки и формулирования этих определений.

Библиография: разработка шкал языковой компетентности

 

Alderson, J.С. 1991: Bands and scores. In: Обсуждает проблемы, вызванные сме- Alderson, J.С. and North B. (eds.): шением цели и ориентации, и рассмат-Language testing in the 1990s London: puвaem вопросы разработки шкалы для British Council/Macmillan, Developments навыка устной речи в рамках IELTS.

in ELT, 71-86.

Brindley, G. 1991: Defining language Принципиальная критика положения о ability: the criteria for criteria. In: Anivan, том, что шкалы языковой компетен- S. (edj Current developments in language тности должны отражать оценку, опи-testing, Singapore, Regional опирающуюся на систему критериев.

Language Centre.

Brindley, G. 1998: Outcomes-based assess- Критикует описание результатов в

ment and reporting in language learning терминах того, какие действия уча- programmes, a review of the issues, щиеся могут совершать, а не в терми Language Testing 15(1), 45-85. нах того, какие языковые компетенции

они приобретают

Brown, Annie, Elder, Cathie, Lumley, Tom, Классическое применение метода Раша McNamara, Tim and McQueen, J. 1992: для шкалирования различных видов Mapping abilities and skill levels using тестовых заданий, используемых для оп-Rash techniques. Paper presented at the ре деления уровня владения навыком чте-

4th Language Testing Research Colloquium, ybz

Vancouver. Reprinted in Melbourne Papers

in Applied Linguistics 1/1, 37-69.

 

Carroll, J.B. 1993: Test theory and behavioural scaling of test performance. In: Frederiksen, N., Mislevy, R.J. and Bejar, I.I. (eds.) Test theory for a new generation of teats. Hillsdale N.J. Lawrence Erlbaum Associates: 297-323. Chaloub-Deville M. 1995: Deriving oral assessment scales across different tests and rater groups. Language Testing 12(1), 16-33.     Davidson, F. 1992: Statistical support for training in ESL composition rating. In: Hamp-Lyons (éd.): Assessing second language writing in academic contexts. Norwood N.J. Ablex: 155-166. Fulcher 1996: Does Thik description lead to smart tests? A data-based approach to rating scale construction. Language Testing 13 (2), 208-38. Gipps, С 1994: Beyond testing. London, Falmer Press   Kirsch, I.S. 1995: Literacy performance on three scales: definitions and results. In: Literacy, economy and society: Results of the first international literacy survey. Paris, Organisation for Economic Cooperation and Development (OECD): 27-53. Kirsch, I.S. and Mosenthal, P.B. 1995: Interpreting the IEA reading literacy scales. In Brincley, M., Rust, K. and Wingleee, M (eds.): Methodological issues in compa-

Ранняя статья, рекомендующая приме­нение метода Раша для шкалирования разных видов тестовых заданий и создания шкал тестирования. Исследование, выявляющее, какие крите­рии наиболее значимы для носителей арабского языка при оценке знания уча­щихся. Практически единственное при­менение метода многомерного шкалиро­вания к языковому тестированию. Четкая демонстрация того, каким обра­зом подтвердить объективность оце­ночной шкапы путем ее проверки по методу Раша. В работе поддерживает­ся «семантический» подход к шкалиро­ванию, а не «конкретный», принятый, например, в описательных дескрипторах. Системный подход к разработке деск­рипторов и шкал, который начинается с описания реального языкового поведения. Такой подход требует много времени. Обоснование «ориентированной на тре­бования» оценки деятельности препода­вателя во взаимосвязи с системой обще­европейских компетенций, полученное в ходе взаимодействия и совместной рабо­ты участников (networking). Обсужде­ние проблем, вызванных нечеткой фор­мулировкой дескрипторов в школьной программе Великобритании по англий­скому языку. Сравнение различных программ. Упрощенное описание сложного приме­нения методики Раша для построения шкалы на основе опытных данных. Метод, разработанный для предсказа­ния и объяснения трудностей, связанных с новыми тестами в зависимости от заданий и уровней - т.е., относительно системы Общеевропейских компетенций. Более подробная и технически сложная версия предыдущей статьи, отслежи­вающая развитие метода в ходе трех взаимосвязанных проектов.

rative education studies: The case of the IEA reading literacy study. Washington D.C.: US Department of Education, National Center for Education Statistics: 135-192. Linacre J.M. 1989: Multi-faceted Measurement. Chicago: MESA Press.     Liskin-Gasparro, J.E. 1984: The ACTFL proficiency guidelines: Gateway to testing and curriculum. In: Foreign Language Annals 17/5,475-489. Lowe, P. 1985: The ILR proficiency scale as a synthesising research principle: the view from the mountain. In: James, C.J. (éd.): Foreign Language Proficiency in the Classroom and Beyond/ Lincolnwood (111.): National Textbook company. Lowe, P. 1986: Proficiency: panacea, framework, process? A Reply to Kramsch, Schulz, and particulary, to Bachman and Savignon. In: Modern Language Journal 70/4, 391-397. Masters, G. 1994: Profiles and assessment. Curriculum Perspectives 14,1 48-52.     Milanovic, M., Saville, N. Pollitt, A. and Cook, A. 1996: Developing rating scales for CASE: Theoretical coserns and analyses. In Cumming, A. and Berwick, R. Validation in language testing. Clevedon, Avon, Multimedia Matters: 15-38. Mullis, I.V.S. 1981: Using the primary trait system for evaluating writing. Manuscript # 10-W-51. Princeton N.J.: Educational Testing Service.

Новое слово в статистике, показываю­щее, что при подведении итогов оценки необходимо принимать во внимание су­ровость экзаменатора. Методика была применена в проекте, разрабатываю­щем иллюстративные дескрипторы, которые бы установили соотношение между уровнями языковой компетенции и годом обучения в школе. Обзор цели и развития американской шкалы ACTFL на основе шкалы, приме­няемой в институте подготовки дипло­матических кадров. (Foreign Service Institute). Подробное описание разработки амери­канской шкалы ILR на основе шкалы, применяемой в институте подготовки дипломатических кадров (Foreign Service Institute). Функции шкалы. Защита системы, которая надежно работала — в определенном контексте, — вопреки теоретической критике, выз­ванной распространением ее методики опроса в образовании (шкала ACTFL). Краткий обзор того, каким образом метод Раша использовался для шкалиро­вания результатов тестов и результа­тов оценки преподавателей для разра­ботки систем описания школьной программы (profiling) в Австралии. Классическое описание применение ме­тода Раша для уточнения шкалы, ис­пользованной при оценке навыков говоре­ния, — с уменьшением общего количества уровней на шкале и повышением эффек­тивности ее использования. Классическое описание применения ме­тода первичных черт для разработки шкалы оценки навыка письма в родном языке.

 

North, В. 1993: The development of descriptors on scales of proficiency: perspectives, problems, and a possible methodology. NFLC Occasional Paper, National Foreign Language Center, Washington D.C., April 1993. North, B. 1994: Scales of Language proficiency: a survey of some existing systems. Strasbourg, Council of Europe CC-LANG (94) 24. North, B. 1996/2000: The development of a common framework scale of language proficiency. PhD thesis, Thames Valley University. Reprinted 2000, New York, Peter Lang. North, B. forthcoming: Scales for rating language performance in language tests: descriptive models, formulation styles and presentation formats. TOEFL Research Paper. Princeton N.J.; Educational Testing Service. North, B. and Schneider, G. 1998: Scaling descriptors for language proficiency scales. Language Testing 15/2 217-262.   Pollitt, A. and Murray, N.L. 1996: What raters really pay attention to. In Milanovic, M. And Saville, N. (eds.) 1996: Performance testing, cognition and assessment. Studies in Language Testing 3. Selected papers from the 15-th Language Testing Research Colloquium, Cambridge and Arnhem, 2-4 August 1993. Cambridge: University of Cambridge Local Examinations Syndicate: 74-91.

Обсуждение и критика содержания и методов разработки традиционных шкал оценки уровня знаний. Изложение основных положений проекта, в рамках которого преподаватели бы разработа­ли описательные дескрипторы и осу­ществили бы их шкалирование по мето­ду Раша на основе результатов оценки преподавателей. Подробный обзор шкал, применяемых в разных программах, и шкал, подвергну­тых впоследствии анализу и использо­ванных в качестве основы для разработ­ки описательных дескрипторов. Описание шкал оценки уровня знаний, обсуждение того, как шкалы связаны с моделями языковой компетенции и использованием языка. Описание этапов проекта, в ходе которого были разрабо­таны описательные дескрипторы, — проблемы и решения. Подробный анализ и исторический обзор разных видов шкал оценки, используемых при проверке говорения и письма: дос­тоинства, недостатки и т. д. Общий обзор проекта, в ходе которого были разработаны описательные деск­рипторы. Обсуждение результатов и стабильности шкал. В приложении содержатся примеры использованных средств и полученных результатов. Интересная методологическая статья, устанавливающая соответствия между анализом перечня навыков и умений и простой процедурой шкалирования с тем, чтобы выяснить, что именно ока­зывается в центре внимания при проведении тестирования на разных уровнях владения языком.

 

 

Scarino A. 1996: Issues in planning, describing and monitoring long-term progress in language learning. In Proceedings of the AFMLTA 10th National Languages Conference: 67-75.   Scarino A. 1997: Analysing the language of frameworks of outcomes for foreign language learning. In Proceedings of the AFMLTA 11th National Languages Conference: 241-258. Schneider, G. and North, B. 1999: «In anderen Sprachen kann ich... «Skalen zur Beschreibung, Beurteilung undSelbstemschatzung der fremdsprachlichen Kommumkationsfahigkeit» Bern/ Aarau: NFP 33/SKBF (Umsetzungsbericht). Schineider, G. and North, B. 2000: «Dans d'autres langues, je suis capable de... «Echelles la description, l'évaluation et l'auto-evaluation des competences en langues étrangères.» Berne/Aarau: PNR33/CSRE (rapport de valorisation). Schneider, G. and North, В. 2000: Fremdsprachen konnen - Was heisst das? Scalen zur Beschreibung, Beurteilung und Selbstemschatzung der fremdsprachlichen Kommumkationsfahigkeit. Chur/Ziirich, Verlag Riiegger AG. Skehan, P. 1984: Issues in the testing of English for specific purposes. In: Language Testing 1/2, 202-220. Shohamy, E., Gordon, CM. and Kraemer, R. 1992: The effect of raters' background and training on the reliability of direct writing tests Modern Language Journal 76: 27-33.     Smith, P.C. and Kendall, J.M. 1963: Retranslation of expectations: an approach to the construction of unambiguous anchors for rating scales. In: Journal of Applied Psychology, 47/2.

Критикует использование расплывча­тых формулировок и недостаток ин­формации о том, насколько хорошо уча­щиеся владеют языком, что характерно для типичных английских и австралий­ских учебных программ оценки квалифи­кации преподавателей. См. выше. Краткий доклад о проекте, в результа­те которого были созданы описатель­ные шкалы. Также представляет швей­царскую версию языкового портфеля (40 страниц формата А5). См. выше. Полный доклад о проекте, в результате которого были созданы описательные шкалы. Подробная статья о шкалир­овании на английском языке. Также представляет швейцарскую версию язы­кового портфеля. Критика формулировок в рамках прог­раммы ELTS, которые описывают уров­ни в отношении к норме и друг к другу. Простое описание исходного качествен­ного метода разработки шкалы для проверки навыка аналитического пись­ма. Ошеломляющая надежность этого метода при сравнении результатов оценки навыка, выполненной людьми не­подготовленными и далекими от препо­давания. Первая попытка отшкалировать сами дескрипторы вместо организации их в шкалы. Первая статья в рамках нового направления. Трудна для чтения.

Stansfield C.W. and Kenyon D.M. 1996: Comparing the scaling of speaking tasks by language teachers and the ACTFL guidelines. In Cumming, A. and Berwick, R. Validation in language testing. Clevedon, Avon, Multimedia Matters 124— 153.   Takala, S. and Kaftandijeva (forthcoming). Council of Europe scales of language proficiency: A validation study. In J.C. Alderson (Ed.) Case studies of the use of the Common European Framework. Council of Europe.     Tyndall, B. and Kenyon, D. 1996: Validation of a new holistic rating scale using Rasch multifaceted analysis. In Cumming, A. and Berwick, R. Validation in language testing Clevedon, Avon, Multimadia Matters 9-57.     Upshur, J. and Turner, С 1995: Constructing rating scales for second language tests. English Language Teaching Journal 49(1), 3-12.   Wilds, C.P. 1975: The oral interview test. In: Spolsky, B. And Jones, R. (eds.): Testing language proficiency. Washington D.C.: Center for Applied Linguistics, 29-44.

Применение метода Раша для под­тверждения правильности порядкового расположения заданий, включенных в программы ACTFL. Интересная методи­ка исследования, которая впоследствии была применена к разработке описа­тельных дескрипторов. Доклад о применении модели, созданной на основе метода Раша, к адаптиро­ванию описательных дескрипторов для создания шкалы самооценки языковых навыков. На примере проекта DIALANG (практическая проверка шкал, разрабо­танных для финского языка). Простое описание практической провер­ки шкалы оценки для теста ESL, исполь­зуемого на вступительной беседе при поступлении в университет. Классиче­ский способ многомерного применения метода Раша для определения областей, в которых требуется дополнительное обучение. Комплексная дальнейшая разработка метода первичных черт для разработки проверочных таблиц, основанных на методе бинарных оппозиций. Исходная публикация, посвященная самой первой шкале оценки уровня язы­ковой компетенции. Имеет смысл прочи­тать эту работу для того, чтобы увидеть некоторые нюансы, утерянные в последующих подходах, основанных на разных формах опроса.

 

 

ПРИЛОЖЕНИЕ В: ИЛЛЮСТРАТИВНЫЕ ШКАЛЫ