Методические рекомендации по подготовке и проведению тестовых и письменных форм итогового контроля знаний студентов
Теоретические и методические основы тестирования
Тестирование является одной из форм массового контроля знаний студентов, который осуществляет преподаватель после изучения ими всей программы учебной дисциплины. Экзамен в форме тестирования обладает целым рядом преимуществ перед традиционной формой экзамена-диалога "преподаватель-студент". Особенность экзамена в форме тестирования — жесткий временный контроль. Поэтому при подготовке к тестированию необходимо уделить внимание психологическому настрою, тренировке решения мини-задач или ответов на мини-вопросы с контролем времени. Преимущества тестирования Объективность. Исключается фактор субъективного подхода со стороны экзаменатора. Обработка результатов теста проводится через компьютер или в присутствии студентов с использованием карты ответов. Валидность. Исключается фактор "лотереи" обычного экзамена, на котором может достаться "несчастливый билет" или задача — большое количество заданий теста охватывает весь объем материала того или иного предмета, что позволяет тестируемому шире проявить свой кругозор и не "провалиться" из-за случайного пробела в знаниях. Простота. Тестовые вопросы конкретнее и лаконичнее обычных экзаменационных билетов и задач и не требует развернутого ответа или обоснования – достаточно выбрать правильный ответ и установить соответствие. Демократичность. Все тестируемые находятся в равных условиях. Массовость и кратковременность. Возможность за определенный установлений промежуток времени охватить итоговым контролем большое количество тестируемых. Технологичность. Проведение экзамена в форме тестирования как при машинном, так и безмашинном контроле весьма технологично, так как позволяет использовать соответственно машинную обработку или листки (карточки) ответов. Недостатки тестирования Относительная трудность создания хорошего теста, проверенного эмпирически, имеющего устойчивые коэффициенты надежности и валидности. Возможность угадывания ответов при использовании закрытой формы тестовых заданий. Необходимость создания и приобретения дорогостоящих технических средств для использования тестов при машинном контроле. Определение теста Тест — система заданий специфической формы, возрастающей трудности, позволяющая качественно оценить структуру знаний и эффективно измерить уровень подготовленности студентов. Научно-обоснованный тест — это метод контроля, соответствующий установленным стандартам валидности и надежности. Под надежностью понимают согласованность результатов проведения теста на одной и той же группе испытуемых, но при изменении условий проведения, чаще всего либо времени, либо набора тестовых заданий. Коэффициент надежности может принимать только положительные значения от нуля до единицы. Обычно для оценки надежности тест проводят два раза и сравнивают полученные тестовые баллы. Чем более схожи результаты двух тестирований, тем более высок уровень надежности тестов. Валидность теста — его пригодность для достижения поставленной цели: пригодность по содержанию, пригодность к применению в конкретных обстоятельствах, пригодность по какому-либо критерию. Валидность педагогического теста по содержанию может быть определена опытным преподавателем экспертом, который отмечает, что задания теста: а) соответствует учебной программе испытуемых; б) охватывает всю программу; в) имеет высокую вероятность того, что студент, успешно ответивший на задания теста, знает предмет в соответствии с полученной оценкой (при установлении соответствия тестового балла принятой систем отметок в качестве критериев обычно берутся оценки, выставляемые студентам группой преподавателей экспертов при традиционной форме контроля знаний). Валидность теста напрямую связана и со следующими вопросами: Насколько можно доверять результатам контроля и каковы аргументы в пользу такого доверия? Является ли выявленный уровень знаний приемлемым с точки зрения цели и качества обучения? Сколько вопросов нужно задать для получения объективной информации о знании студентов? Сколько времени требуется для оптимальной организации качественного контроля? Тест может быть валидным, если, помимо прочих требований, средние результаты соответствуют большей части студентов группы, а сами данные распределяются по "нормальному закону". Если это условие не выполняется, то такой тест считается невалидным с точки зрения соответствия стандартам распределения. Именно отсюда проистекает стремление создателей теста добиваться нормальности распределения за счет варьирования числа легких и трудных тестовых заданий. В процессе создания теста мера трудности регулярно проверяется на случайной выборке из того контингента, для которого тест предназначается. В сбалансированном тесте авторы обычно легко добиваются нормальности распределения. Дальнейшее совершенствование теста идет по пути замены ряда заданий, ответы на которые нарушают нормальность распределения. Трудность заданий влияет на надежность и валидность. Если тест очень трудный, то студенты чаще вынуждены догадываться — какой ответ правильный, но чем чаще они прибегают к догадке, тем больше распределение результатов теста приближается к случайному распределению. Поэтому пригодность теста для оценки знаний всей массы студентов будет ниже, чем труднее тест. Такое же влияние на надежность, но по другой причине, оказывает легкий тест, в котором студенты редко догадываются, их ответы устойчивы, но нет различий между испытуемыми. Валидность теста существенно уменьшается из-за снижения его различающей способности. Различающая способность теста тем выше, чем меньше одинаковых тестовых баллов набирают сами студенты. Валидность теста связана еще с понятиями "гомогенный" и "гетерогенный" тесты. Если тест создан с целью проверки знаний по одной учебной дисциплине и все задания теста связаны именно с ней, то такой тест считается гомогенным. Тест, состоящий из заданий по нескольким дисциплинам, называется гетерогенным. Валидность теста зависит и от длины теста. Под длиной теста понимают количество заданий, входящих в тест. Существуют тесты очень короткие, состоящие из 7-15 заданий, и очень длинные, состоящие из более 500 заданий. Если тест очень длинный, то ухудшается мотивация и внимание у испытуемых, а это снижает надежность и валидность. Практика показывает, что если тестирование занимает более полутора часов, то испытуемые с неохотой соглашаются отвечать на вопросы теста. С другой стороны, с точки зрения теории, чем тест длиннее, тем он надежнее. Возникающее противоречие между теорией и практикой решается компромиссом в ту или в другую сторону, в зависимости от конкретного случая. Этапы разработки теста Замысел. В основу замысла теста ложится концепция знания предмета, представляющая собой структуру учебной дисциплины. Цель. Четко формулируется для чего разработан тест, какие функции выполняет. Условия применения. Определяется контингент, подлежащий тестированию (курс, объем знаний, период обучения), время на тестирование, указывается безмашинный (анкетный) или автоматизированный тесты. Анализ разделов, тем. В зависимости от важности разделов делается примерная процентная раскладка знаний по разделам и составляется общий план теста с учетом содержания заданий. Определение вида тестовых заданий. Используются тестовые задания различных видов в зависимости от темы раздела, концепции разработки. Для одной группы вопросов нужно апробировать различные типы тестовых заданий. Критерии отбора — показатели трудности и показатели коррелируемости задания с суммарным баллом. Например: умение давать определения. знание основных закономерностей (знание основных формул,законов, принципов и т.п.). знание фактического материала (знание фактов, умение применить формулы, законы, принципы для анализа и решения задач и примеров). умение находить последовательности взаимосвязи сходства и различия в изучаемых явлениях, процессах и т.п. умение работать с источником (умение представлять материал на графиках, схемах и т.п.) Экспертиза тестовых заданий. Цель экспертизы: с привлечением квалифицированных специалистов определить, можно ли с помощью предлагаемых тестовых заданий оценить знания. Экспертиза должна быть формализована с применением количественной оценки мнений экспертов. Эмпирическая проверка теста. Проверке подлежат все тестовые задания (по 40-50 заданий на 100-200 испытуемых). Результаты тестирования подвергаются статистической обработке. Требование к тестовым заданиям Содержательность — обязательная принадлежность к теме, разделу дисциплины, для которой составляется тест. Краткость — четкая, короткая формулировка, ясное изложение, требующее однозначность ответа, невозможность двойного исполнения при формировании задания желательно придерживаться прямого порядка слов. Вместе с ответом задание должно составлять утверждение, а не вопрос-ответ. В начале предложения следует ставить ключевое слово. Калибровка по трудности — в ходе апробации теста определяется мера трудности каждого задания. В тесте должны быть задания различной трудности. Взаимосвязь — задания должны быть взаимосвязаны по содержанию (из любого раздела, темы) и коррелировать между собой. Дифференцирование — разделение студентов на сильных и слабых. Если на тестовое задание никто не отвечает или отвечают все, такие задания исключаются. Формы тестовых заданий Наибольшее распространение в педагогической практике нашли четыре формы тестовых заданий. Наиболее часто в вузовской практике использовались и используются тестовые задания закрытой формы, когда предлагается несколько вариантов готовых утверждений (ответов), их которых нужно выбрать одно, являющееся истинными. Как правило дается 4-5 ответов. Наибольшая трудность в составлении тестовых заданий с выборочными ответами заключается в подборе правдоподобных, но все-таки неправильных ответов. Правильный ответ вводится в компьютер. Номер правильного ответа всегда меняется постоянно после каждого тестирования. Открытая форма тестовых заданий: она помогает студенту овладеть ключевыми словами учебных дисциплин. По этой форме формулируется предложение, в конце которого делается пробел, в который тестируемый записывает произвольный ответ (задание на дополнение). При составлении открытых заданий они должны быть корректными, не допускающими неоднозначного ответа, в задании должно не более 7-12 слов. Задание на соответствие. Необходимо установить соответствие элементов одного множества элементам другого. При таком методе тестирования оценивается либо каждый вопрос (что желательно), либо целиком полный правильный ответ. Тестовые задания на установление правильной последовательности тех или иных действий, процессов, операций.
ТЕХНОЛОГИЯ ПРОВЕДЕНИЯ ТЕСТОВЫХ И ПИСЬМЕННЫХ ФОРМ ИТОГОВОГО КОНТРОЛЯ ЗНАНИЙ СТУДЕНТОВ Комбинированная форма экзамена. Комбинированный экзамен представляет собой форму контроля знаний студентов, которая включает совмещенную оценку по ответам на тестовые задания и собеседованию. Цель проведения экзамена в комбинированной форме - расширить возможности объективной оценки качества знаний по дисциплине: - контролировать накопление у студентов знаний и умений различных уровней - как репродуктивного, так и творческого характера; - совместить монологовую и диалоговую формы ответа на экзаменационный вопрос, что позволяет выявить индивидуальные способности каждого студента и выработать умение отстаивать самостоятельную позицию; - выносить на экзамен вопросы, требующие развернутого ответа и рассуждений со стороны студента. Для проведения экзамена в комбинированной форме составляется банк контролирующих средств, в виде тестовых заданий по дисциплине, вынесенной на экзаменационную сессию в форме комбинированного экзамена. Эта работа проводится на кафедрах факультета ведущими преподавателями и ПМК кафедры. Рецензирование качества тестовых заданий может проводиться аттестационной комиссией факультета. Перечень вопросов, выносимых на собеседование в рамках комбинированного экзамена, составляется преподавателем и утверждается на заседании кафедры.
ПОДГОТОВКА ТЕСТОВЫХ ЗАДАНИЙ К КОМБИНИРОВАННОМУ ЭКЗАМЕНУ
Тестовые задания должны охватывать все программные вопросы учебной дисциплины по темам и (или) модулям. Содержательно они ориентируются на контроль знаний основных законов и процессов, понятий и терминологии, фактического материала, теоретического и прикладного значения научных достижений по разным направлениям изучаемой дисциплины. Тесты должны быть направлены на систематизацию отдельных фактов и явлений, а так же ориентированы на творческое обобщение и анализ. Часть вопросов должна отражать логику межпредметных связей фундаментальных и специальных дисциплин. Вопросы должны быть сформулированы так, чтобы время на ответ не превышало одной минуты на одно тестовое задание по теоретическому материалу и двух минут для расчетных задач. Минимальное количество тестовых заданий - 300. В дальнейшем банк тестов должен пополняться автором. Вопросы должны быть сформулированы по типу закрытого тестового задания с выбором правильного ответа из пяти предлагаемых, что обусловлено требованиями стандартизации при машинной обработке результатов. На комбинированном экзамене студенту предъявляется один вариант теста по дисциплине, включающий 80 - 100 тестовых заданий.
ПОДГОТОВКА ВОПРОСОВ СОБЕСЕДОВАНИЯ НА КОМБИНИРОВАННОМ ЭКЗАМЕНЕ На собеседование выносятся вопросы проблемного характера, требующие обсуждения, развернутого ответа, демонстрации навыков последовательного, доказательного мышления и умения отстаивать самостоятельную позицию. Вопросы собеседования: - должны освещать важнейшие и принципиальные положения дисциплины, охватывать все темы (модули) учебной дисциплины; - должны быть поставлены четко, в однозначных формулировках; - не должны содержательно дублировать друг друга; - составляются в количестве 20-25, список утвержденных вопросов доводится до сведения студентов.
ПОРЯДОК ПРОВЕДЕНИЯ ЭКЗАМЕНА В КОМБИНИРОВАННОЙ ФОРМЕ На комбинированный экзамен отводится 6 часов, расписание составляется таким образом, чтобы в один день экзамен сдавало не более одной академической группы. Тестирование и собеседование на комбинированном экзамене проводится в один и тот же день. Экзамен идет в два этапа: первый - тестирование (1 минута на одно тестовое задание), второй - собеседование. Каждый студент на комбинированном экзамене отвечает на вопросы одного варианта тестовых заданий по дисциплине. Заполненные листы ответов студентов собирает методист для передачи в группу тестирования УМУ. Листы ответов обрабатываются непосредственно после проведения первой части комбинированного экзамена. По завершении тестирования студенты получают пятнадцатиминутный перерыв. Собеседование начинается через пятнадцать минут после окончания тестовой части комбинированного экзамена. Собеседование проводится индивидуально с отведением времени не более 15 минут в расчете на одного студента. На собеседовании экзаменатор задает каждому студенту не более двух вопросов из утвержденного перечня. Вопросы выбираются по усмотрению преподавателя. На собеседование отводится 40 процентов баллов от ИКИ экзамена. Шестьдесят процентов от ИКИ экзамена выделяются на тестовую форму контроля. Пример Если ИКИэкз = 80 б` Из них: 1) на тестирование - 48 б` (60%) на собеседование - 32 б` (40%) уровень баллы отл. 41 - 48 (85 - 100 %) 27 - 32 хор. 34 - 41 (70 - 85 %) 22 - 27 удовл. 15 - 34 (45 - 70 %) 14 - 22 неудовл. ниже 15 (ниже 45 %) ниже 14 Итоговая экзаменационная оценка уровень проценты баллы отл. (85 - 100%) 68 - 80 хор. (70 - 85 %) 56 - 68 удовл. (45 - 70 %) 29 - 56 неудовл. (ниже 45%) ниже 29
После проведения собеседования преподаватель обязан выставить баллы за собеседование и итоговый экзаменационный балл в ведомость комбинированного экзамена, заполнить соответствующие графы в зачетных книжках студентов
|
