Календарь проектов на 2013 год
*Для образовательных учреждений, заключивших годовые договоры для участия в проектах «ФЭПО: компетентностный и традиционный подходы» (март-декабрь 2013 г.) и «Интернет-тренажеры в сфере образования» (март-декабрь 2013 г.), услуги «Диагностическое Интернет-тестирование студентов первого курса» и «Интернет-экзамен для выпускников бакалавриата/специалитета» предоставляются БЕСПЛАТНО. Более подробные сведения о проектах НИИ мониторинга качества образования можно получить по телефонам: 8(8362) 64-16-88, 44-15-64, 42-24-68; тел/факс: 42-13-16, Приложение 1. Методы анализа результатов педагогических измерений
Обращаем Ваше внимание на то, что данное приложение содержит описание модели с примером графических форм анализа результатов педагогических измерений. Данные примеры не относятся к результатам тестирования Вашего образовательного учреждения. 1. Модель оценки качества подготовки студентов на соответствие требованиям ГОС-II Концептуальной основой модели оценки качества подготовки студентов на соответствие требованиям государственных образовательных стандартов является оценка освоения всех дидактических единиц дисциплины на уровне требований ГОС-II. Согласно этой модели подготовка студента оценивается по каждой ДЕ путем сравнения количества правильно выполненных заданий с критерием освоения. Подготовка студента считается соответствующей требованиям стандарта, если он освоил все контролируемые ДЕ ГОС. Для каждой основной образовательной программы показателем освоения дисциплины является доля студентов, освоивших все дидактические единицы дисциплины. Структура формирования критерия освоения ГОС-II по дисциплине представлена в следующей таблице:
Во всех используемых для оценки освоения ГОС педагогических измерительных материалах выполнение заданий требует использования знаний и умений в знакомой ситуации, т.е. задания рассчитаны на типовые действия.
2. Представление обобщенных результатов для ООП образовательного учреждения на основе педагогических измерений Для оценки качества подготовки студентов на соответствие требованиям государственных образовательных стандартов профессионального образования результаты педагогических измерений образовательного учреждения представлены в формах, удобных для принятия управленческих решений: · диаграмма ранжирования ООП образовательного учреждения по показателю освоения дисциплины; · диаграмма ранжирования ООП образовательных учреждений – участников Интернет-экзамена – по показателю освоения дисциплины; Диаграмма ранжирования ООП образовательного учреждения по показателю освоения дисциплины позволяет упорядочить ООП по проценту студентов, освоивших все контролируемые ДЕ дисциплины на уровне требований ГОС. На диаграмме критерий освоения дисциплины указан пунктирной линией и имеет значение 60%, то есть не менее 60% студентов должны освоить все дидактические единицы дисциплины.
Рис.2.1. Диаграмма ранжирования ООП образовательного учреждения по показателю освоения дисциплины
Результаты педагогических измерений показывают, что · качество подготовки студентов по ООП образовательного учреждения (090101.65) соответствует требованиям ГОС; · качество подготовки студентов по 11 ООП образовательного учреждения (280301.65, 010501.65, 020301.65, 010901.65, 020302.65, 090106.65, 280401.65, 020303.65, 010705.65, 280402.65, 090102.65) не соответствует требованиям ГОС. Диаграмма ранжирования ООП образовательных учреждений – участников Интернет-экзамена – по показателю освоения дисциплины позволяет сравнить показатель освоения дисциплины (процент студентов, освоивших все дидактические единицы дисциплины) для образовательных программ конкретного образовательного учреждения с результатами реализации аналогичных ООП в других образовательных учреждениях – участниках Интернет-экзамена – и определить место ООП по данному показателю. В отличие от предыдущей диаграммы ранжирования (рис.2.1.) в данном случае сравнение ведется по ООП в целом без разделения на специализации или учебные группы.
Рис.2.2. Диаграмма ранжирования ООП образовательных учреждений-участников
На диаграмме (рис.2.2) представлены результаты освоения дисциплины для 111 ООП в 42 образовательных учреждениях по УГС–080000 «Экономика и управление» для образовательных учреждений-участников Интернет-экзамена. Образовательные программы в выборке упорядочены по доле студентов, полностью освоивших все дидактические единицы ГОС (показатель освоения дисциплины). На диаграмме выделены три пороговые линии для значений этого показателя: Х1/4 – значение, выше которого по этому показателю находится 25% ООП данной группы (верхняя квартиль); М – значение, выше которого по этому показателю находится 50% ООП данной группы (медиана); Х3/4 – значение, выше которого по этому показателю находится 75% ООП данной группы (нижняя квартиль). Значения показателей, расположенные в центральной (25-75%) зоне выборки, можно рассматривать как «нормальные». Особое внимание к состоянию качества подготовки студентов следует обратить образовательным программам с показателями освоения дисциплины ниже Х3/4, т.е. находящиеся в последней четверти выборки. Использование порядковых статистик (квартили, медианы) позволяет объективно оценивать распределение ООП по показателю, так как данные статистики являются устойчивыми к наличию статистических «выбросов» в выборке. Показатели освоения дисциплины для ООП образовательного учреждения выделены темным и на общем фоне находятся: для ООП 090101.65 — в верхней зоне выборки; для ООП 280301.65, 010501.65, 020301.65, 010901.65, 020302.65, 090106.65, 280401.65 — в центральной зоне выборки; для ООП 020303.65, 010705.65, 280402.65, 090102.65 — в нижней зоне выборки.
3. Представление результатов педагогических измерений по дисциплине для отдельной ООП Для анализа и оценки качества подготовки студентов результаты педагогических измерений по каждой ООП представлены в удобных для принятия решения формах: · гистограмма плотности распределения результатов; · карта коэффициентов решаемости заданий по темам; · карта коэффициентов освоения дидактических единиц (ДЕ) дисциплины; Гистограмма плотности распределения результатов. Этот вид представления результатов используется для характеристики плотности распределения данных по проценту набранных баллов. Каждый столбик на гистограмме (рис.3.1) показывает долю студентов, результаты которых лежат в данном 5-процентном интервале. По гистограмме определяется характер распределения результатов для данной группы тестируемых и могут быть выделены подгруппы студентов с различным качеством подготовки. Согласно предложенной модели оценки качества подготовки студентов на соответствие требованиям ГОС гистограмма должна быть смещена в сторону высоких процентов выполненных заданий (т.е. большинство результатов – выше 70%) для группы студентов, освоивших дисциплину на уровне требований ГОС.
Рис.3.1. Гистограмма плотности распределения результатов
Ниже гистограммы дается таблица разбиения плотности результатов по 4-м интервалам (до 40%, от 40 до 60%, от 60 до 80% и от 80% и выше). Результаты педагогических измерений в этих интервалах могут соответствовать шкале «неудовлетворительно – удовлетворительно – хорошо – отлично». Карта коэффициентов решаемости заданий по темам. Этот график (рис.3.2) предназначен для содержательного анализа качества подготовки студентов по контролируемым темам дисциплины. По вертикальной оси отложены значения коэффициентов решаемости заданий, номера которых указаны по горизонтальной оси.
Рис. 3.2. Карта коэффициентов решаемости заданий по темам
Значения коэффициентов решаемости для заданий рассчитываются как отношение числа студентов, решивших задание по данной теме, к общему числу участников педагогических измерений. При анализе результатов педагогических измерений по карте коэффициентов решаемости можно придерживаться следующей классификации уровней трудности заданий: легкие задания – коэффициент решаемости от 0,7 до 1,0, задания средней трудности – коэффициент решаемости от 0,4 до 0,7 и задания повышенной трудности – коэффициент решаемости менее 0,4. Для группы студентов, освоивших дисциплину на уровне требований ГОС, все задания должны иметь коэффициент решаемости не ниже 0,7. Карта коэффициентов освоения ДЕ дисциплины (рис. 3.3) имеет вид, аналогичный карте решаемости отдельных заданий. Она позволяет проанализировать освоение выделенных для контроля ДЕ дисциплины. Группировка заданий по ДЕ и соответствующие критерии освоения ДЕ представлены в структуре педагогических измерительных материалов.
Рис.3.3. Карта коэффициентов освоения ДЕ дисциплины
Значения коэффициентов освоения ДЕ дисциплины выражаются через долю студентов, преодолевших критерий освоения конкретной ДЕ дисциплины. Как правило, в качестве критерия освоения ДЕ дисциплины берется выполнение 50% заданий от их общего числа в ДЕ.
Результаты тестирования студентов обработаны
По представленным аналитическим материалам
424000, Республика Марий Эл, г. Йошкар-Ола, ул. Я. Эшпая, д. 155.
Телефоны: 8 (8362) 42-24-68, 42-25-04.
Е-mail: nii.mko@gmail.com.
Web-ресурсы: www.i-exam.ru, www.фэпо.рф.
|
