СХЕМА 3 Валидность вопросов

Выявление вопросов в зависимости от количества ошибок

Выявление индекса трудности Выявление индекса различения

 

Выявление вопросов, на которые все студенты ответили пра­вильно, свидетельствует об их значении в определении знаний. Иное отношение к тестам, представившим для студентов боль­шую трудность. Анализ их может указать либо на неправильную компоновку, либо на недостаточное освещение данного раздела в течение учебного года на лекциях и практических занятиях.

Более тонкую структуру вопросов позволяют выявить два других индекса: индекс трудности (ИТ) и индекс различения (ИР).

ИТ—это показатель измерения легкости вопроса с учетом всех правильных ответов на него, сделанных студентами сильной и слабой групп. Последние отбираются в количестве 1/3 отве­чающих. Например, в одном из вариантов 69 работ. Для анали­за взяты работы с наименьшим и наибольшим количеством оши­бок в соотношении 1: 3, то есть 23 тех и других работ. Чем выше индекс трудности, тем легче вопрос. Идеальным ИТ является 50—60%, приемлемым 30—70%.

H + L

ИТ= ------------*100

n

 

Н—число правильных ответов в сильной группе,

L—число правильных ответов в слабой группе,

n—общее число экзаменуемых.

ИР показывает, как ответы на вопрос разделяют экзаменуе­мых на более и менее знающих.

H - L

ИР=----------x2

n

ИР, равный 0, 35 и выше, характеризует вопрос как отлично сос­тавленный; 0, 25—0, 34—как хорошо составленный; 0, 15—0, 24— как спорный, подлежащий пересмотру, и ниже 0, 15—как плохо составленный вопрос, подлежащий исключению.

Анализ экзаменационной сессии был бы неполным, если бы, помимо выводов о ее результатах, не возникли обоснованные предложения для улучшения педагогического процесса в сле­дующем году. Устная форма экзамена позволяет судить об этом лишь на основании выставленных экзаменационных оценок, что, естественно, не всегда соответствует реальности. Схема «обрат­ной связи», позволяющая руководить учебным процессом в сле­дующем году, при письменном экзамене наглядна и состоит из анализа вопросов с максимальным и минимальным количеством ошибок и определения коэффициента неосведомленности.студен­тов в вопросах данного предмета.

Если при ответе на вопрос большинство студентов (до 85— 90%) допустили ошибку, необходимо анализировать этот факт с двух позиций — вопрос составлен неправильно, в нем нет логич­ности или допущена двусмысленность, и, следовательно, он под­лежит переработке и труден для ответа, на него мало обращали внимания на лекции, семинарских занятиях. В этом случае пре-

подаватель, ведущий данную тему, может уделить ему больше внимания, конкретизируя разбором больных и пр.

Более определенная ситуация складывается при выявлении КН студентов. Например, КН по различным темам распределил­ся следующим образом: 1) заболевания молочной железы—0, 44;

2) острая кишечная непроходимость — 0, 38; 3) заболевания пе­риферических сосудов—0, 38; 4) грыжи—0, 31. Коллективу ка­федры ясно, что темам с высоким КН необходимо уделить боль­ше внимания. В данном случае это относится к заболеваниям мо­лочной железы. В то же время это является и показателем ка­чества преподавания отдельными ассистентами, если в течение учебного года за ними были закреплены строго определенные те­мы. Анализ экзаменационной сессии для выявления схемы «об­ратной связи» представлен на схеме 4.

Выявление схемы «обратная связь»

Анализ вопросов, тем, вариантов по КН

Анализ работ по максимальному и минимальному количеству ошибок

Следовательно, тестовый экзамен по методу множественного выбора позволяет проводить конкретный математический анализ. Целями последнего являются определение знаний студентов, со­поставление уровня подготовленности студентов текущего го­да и студентов предыдущих лет, сопоставление схемы «обратной связи» и определение валидности вопросов, позволяя активно ру­ководить учебным процессом.

Система «Экзамен»

Для компьютерной обработки результатов экзаменационной сессии по курсу хирургических болезней разработана диалоговая система «Экзамен». Система предназначается для ввода, хране­ния контрольных листов студентов и для расчета различных сводно-статистических таблиц, необходимых для проведения ана­лиза экзаменационных сессий. Система работает в режиме диало­га оператор—ЭВМ.

Система «Экзамен» ориентирована на работу с использовани­ем самых распространенных микроЭВМ типа «ДВК», «Электро­ника-60» и других, программно совместимых с ЭВМ «СМ-4». По­скольку на этих компьютерах применяются флопи-диски неболь­шого объема, нами разработана собственная специализирован­ная база данных для хранения сведений об экзаменах. Примене­ние готовой универсальной базы данных представляется нецеле­сообразным ввиду значительного объема информации при весьма ограниченных возможностях микроЭВМ.

В базе данных предполагается накапливать информацию за несколько лет. Основная единица хранения — контрольный лист студента. В контрольном листе содержится следующая информа­ция: код учебной группы, номер студента, номер варианта, список номеров вопросов, на которые студент ответил неверно.

Для генерации содержательных таблиц в базе данных хра­нится также и некоторая описательная информация—список преподавателей, таблица распределения вопросов по учебным темам и т. д. Поскольку эта информация может измениться со временем, каждый экзамен в базе данных будет иметь свое опи­сание — справочник экзамена.

По каждому экзамену в базе данных хранится справочник экзамена и массив контрольных листов студентов. Основная ин­формация справочника экзамена: списки учебных групп, препо­давателей, учебных тем; таблицы закрепления преподавателей за группами, распределения вопросов по темам. Для обеспечения гибкости системы количественные характеристики экзаменов варьируют в широких пределах. Конкретные значения количест­венных характеристик также хранятся в справочнике: количество факультетов, количество групп, количество вопросов, количество введенных контрольных листов студентов и др.

Для обеспечения возможного расширения системы широко применяется принцип резервирования. Так, например, преду­смотрен резерв для расширения состава справочника экзамена, предусмотрены резервные характеристики студентов (возможно, для расчетов понадобится средний балл студента, коэффициент посещаемости лекций и др.).

Работа с базой данных проходит в режиме диалога. Преду­сматривается ввод, корректировка, визуализация контрольных листов и данных из справочника экзамена. Также в режиме диалога по запросам пользователя система рассчитывает различ­ные сводно-статистические таблицы. Например, среднее количе­ство ошибок на одного студента по вариантам и факультетам, коэффициент неосведомленности студентов по экзаменационным темам, с разделением по вариантам и др. Необходимые резуль­таты для наглядности выдаются в виде гистограмм.

Для обеспечения возможности тиражирования системы «Эк­замен» разработка проведена на уровне «программного продук­та». То есть система может эксплуатироваться любым операто­ром средней квалификации без поддержки разработчиков. Си­стема будет передаваться в виде комплекта: программы на маг­нитном носителе и документация. При этом пользователь сначала сгенерирует базу данных в соответствии со спецификой своего института, а затем пользуется системой: вводит информацию, заказывает расчеты.

Для облегчения эксплуатации системы предусмотрен «друже­ственный интерфейс». Все ответы оператора и вводимые данные тщательно проверяются. В случае обнаружения ошибок или про­тиворечий оператору выводится подробное сообщение, а затем вопрос повторяется. Если в процессе работы оператору непоня­тен какой-либо вопрос, то можно попросить у системы «подсказ­ку»—пояснение, раскрывающее суть вопроса и дающее возмож­ные варианты ответов.

Система «Экзамен» разработана в операционной системе РАФОС, язык программирования РАТФОР (ФОРТРАН). В пер­спективе возможен перенос системы на 16-битные персональные компьютеры.