Визначення діагностичних властивостей тестових завдань i тесту

Важливою складовою технології конструювання тесту об’єктивного контролю рівня освітньо-професійної підготовки фахівців є встановлення об’єктивних діагностичних властивостейтестових завдань і тесту через статистичні параметри [12]. До таких статистичних параметрів відносять індекси складності (I_с) й дiференціюючої здатності (I_д). Ці показники характеризують якість складності тест-завдань і кількісно визначаються за результатами пілотного тестування. Послідовність формування і визначення статистичних показників якості тест-завдань і тесту наведені на схемі 5.1.

Згідно з державним стандартом вищої освіти індекс складності (показник вимірювання легкості завдання) обчислюють за формулою

, %,

де H - кількість правильних відповідей у сильній підгрупі;

L - кількість правильних відповідей у слабкій підгрупі;

n - загальна кількість екзаменованих в обох підгрупах;

Чим більше індекс складності, тим легше текст завдання. Вважається прийнятним коливання індексу складності від 30 до 70%. Ідеальним (оптимальним) вважається індекс складності від 50 до 60%. Очевидно, що складність окремих тест-завдань відбиває складність тесту в цілому. Це твердження дозволяє класифікувати тести залежно від величини індексу складності. Так, якщо тест сформований із тест-завдань за індексом складності 30-50%, то його слід віднести до категорії складних, від 60 до 70% - простих. Практика підтвердила доцільність використання класифікації для конструювання тестів різної складності.

Ми вважаємо, що тести з I_с = 30-50% доцільно використовувати для підсумкового контролю у разі бажання студентів покращити 4-бальну оцінку або при необхідності писати контрольну роботу в зв’язку з пропуском поточного тестування (одного чи більше). Для стартового (вхідного) і першого поточного контролів доцільно використовувати тести з індексом складності 60-70%, а для експертного чи інспекторського – 30-70%.

 

 

Вибір тест-завдань модуля для конструювання проекту тесту
		Визначення кількості балів проекту тесту
		25-30 балів. Помилка вимірювань ~ 20%	80-120 балів. Помилка вимірювань ~ 10%	380-420 балів. Помилка вимірювань ~ 5%
		Конструювання проекту тесту
		Проведення тестового іспиту
Визначення якості тестових завдань за індексами
Прийнятні 30-70 %		Складності (Ic)		Диференціюючої здатності (I д)		Прийнятні 0,15-0,35
Складні 30-50 %						Оптимальні 0,25-0,34
Оптимальні 50-60 %						Суперечливі 0,15-0,24
Прості 60-70 %						Неприйнятні менше 0,15
Психометричний аналіз проекту тесту за коефіцієнтом якості „у”
	Прийнятний	у = 0,0-3,2			Неприйнятний
Відмінний у = 0,0-0,5		Оптимальний у = 0,6-1,5	Добре сконструйований у = 1,6-2,5	Задовільний у = 2,6-3,2		у = 3,3-4,0
		Т Е С Т Б А З О В И Й

Рис. 5.1 - Схема послідовності формування і визначення якості тесту об’єктивного контролю ЗУН

Класифікація якості тест-завдань за I _д розроблена за аналогією з класифікацією індексу складності:

.

Вважається прийнятним в межах 0,15-0,35, оптимальним – 0,25-0,35, вище 0,35 – відмінно складене завдання, 0,15-0,24 – суперечливе (його треба переглянути), менше 0,15 – неприйнятне (завдання треба вилучити при підрахунку балів).

До основних критеріїв оцінки якості тесту відноситься коефіцієнт надійності (), який обчислюють за допомогою формули Спірмена-Брауна:

,

де n - кількість частин, на які був розподілений тест за принципом парних і непарних номерів тестових-завдань тесту ( =2);

r - коефіцієнт кореляції Пірсона.

Вважається прийнятним R в межах 0,85-1,0. оптимальним 0,90-0,95, відмінним – 0,95-1,0, суперечливим – 0,85-0,95 (тест необхідно перевірити в інших академгрупах).

За допомогою коефіцієнта надійності визначають ступінь надійності методу вимірювання, тобто наскільки отримані результати тестування відновлюються при повторних вимірах. Отримати стабільні характеристики при повторному тестуванні одним і тим самим тестом складно, тому що самі ознаки, які перевіряються, є лабільними. Вони значною мірою залежать від багатьох внутрішніх і зовнішніх чинників, у тому числі фізичного стану тестованих, комунікабельності викладача, загального рівня компетентності студентів академгрупи, кількості розкритих тест-завдань при спілкуванні студентів, вимогливості викладачів, часу іспиту і т.п. Ступінь надійності методу вимірювання, що визначається за допомогою коефіцієнта надійності, підвищується організацію банка (сукупності) тестів одного і того ж рівня, що, в свою чергу, залежить від професіоналізму викладача.

Діагностичні властивості тесту можна визначити за допомогою критерію якості „У” який поєднує в собі кількісні характеристики зазначених параметрів оптимізації і обчислюється за формулою

 

,

де х₁ – кількість балів тесту;

х₂ – коефіцієнт надійності тесту;

х₃ – індекс складності тест-завдання;

х₄ – індекс диференціюючої здатності;

х₀₁, х₀₂, х₀₃, х₀₄ – нульовий рівень варіювання зазначених факторів;

ε₁, ε₂, ε₃, ε₄ – інтервали варіювання відповідних факторів;

Тест відповідає діагностичним властивостям, якщо величина показника якості „У” знаходиться в межах 0,0-3,2. При цьому якщо „У” =0,0 – 0,5 можна вважати, що тест складений відмінно, „У” = 0,6-1,5 - оптимальним, „У” = 1,6-2,5 і „У” = 2.6-3.2 - відповідно добре і задовільно.

Якщо показник якості буде знаходитись в межах 3,3 – 4,0 тест, доцільно доопрацювати, змінюючи величину відповідного фактора.

Для практичного використання показника якості тесту „У” доцільно в табличній формі подати рівні й інтервали варіювання факторів оптимізації, як це наведено в табл.1.

 

Таблиця 1 - Рівні й інтервали варіювання факторів оптимізації якості тесту

Назва факторів оптимізації якості тесту	Рівні варіювання	Інтервал варіювання ε
-1		+1
Кількість балів тесту (х1)
Коефіцієнт надійності тесту (х2)
Індекс складності тест-завдання (х3)
Індекс диференціюючої здатності (х4)

 

Нульовий рівень варіювання слід вибирати в діапазоні, який є оптимальним для даного проекту.

Інтервал варіювання залежить від величини конкретного фактора, який можливо досягти в процесі стандартизації відповідного тест-завдання і тесту. Наприклад, якщо нами розроблений тест, що оцінюється в 380 балів з коефіцієнтом надійності 0,85 і використанням тест-завдань, які мають індекс-складності 0,6 і диференціюючої здатності 0,25, то коефіцієнт якості тесту складе величину 1,36. Значення факторів нульового рівня та інтервали варіювання показані у наступній формулі і більш детально розглянуті в [12]:

 

.

 

Таким чином, показник якості тесту знаходиться в оптимальному діапазоні і засвідчує можливість формування тесту на вказаних умовах.

Ми свідомо не розглядаємо деякі критеріальні характеристики вимірювання якісних показників, що використовуються для стандартизації тестів, умов проведення вимірювання та аналізу результатів тестування. До таких критеріїв відносяться валідність методу (валідність змісту, валідність відповідності, валідність складності завдань, прогнозу), який характеризує відповідність тесту рівню освітньо-професійної підготовки студентів певного етапу навчання і точність методу вимірювання. Вважаємо, що у подальшому викладачі можуть самостійно набувати достатнього практичного досвіду в процесі підготовки тестів і використання тестового контролю в навчальному процесі, користуючись на початковому етапі мінімальним рівнем знань з теорії тестування, викладених в цьому посібнику. Більш глибокі знання з теорії тестів і педагогічного контролю, в міру виникнення практичної необхідності в них, доцільно здобувати самостійно або при підвищенні кваліфікації на спеціалізованих курсах.

Таким чином, за результатами пілотних тестувань визначають об’єктивні діагностичні властивості тестів, тестових завдань через визначення зазначених статистичних параметрів і створюють систему базових тестів і тестових за-
вдань. Останні є основою для розробки декількох рівнозначних (одного рівня) варіантів тесту. Для визначення рівнозначності варіантів треба користуватись критерієм якості тесту „У”.