Основні вимоги й рекомендації з конструювання тестів

Сформовані тест-завдання використовують для конструювання проекту педагогічного тесту. Педагогічні тести являють собою сукупність підібраних на основі критеріїв якості тест-завдань, що дозволяє об’єктивно виконати педагогічні виміри показників рівня ЗУН і співставити результати за відповідними стандартами.

Існуючий комплекс нормативних документів для розробки складових системи стандартів і велике різноманіття технологій модульно-рейтингової системи контролю якості навчання у ВНЗ України потребують подальшого узагальнення, уніфікації, уточнення кількісних і якісних показників, пов’язаних з конструюванням педагогічних тестів контролю.

Перш за все необхідно визначитись з кількістю тестових завдань тесту та оцінки їх вартості в балах [9].

Міністерство освіти і науки України рекомендує визначати кількість тестових завдань тесту залежно від величини помилки, допущеної при вимірюванні результатів контролю. Тобто тест має включати таку кількість тестових завдань, що є достатньою для забезпечення відповідної точності методу вимірювання. При державному кваліфікаційному іспиті помилка вимірювання не може перевищувати 5%, що відповідає довжині тесту від 380 до 420 тестових завдань. Таким чином, у випадках інспекторського контролю з метою акредитації ВНЗ довжина тесту з дисципліни, однозначно, повинна складати 380-420 тест-завдань. Звичайно, що інспекторський контроль передбачає визначення рівня знань студентів з дисципліни, отриманих на всіх видах навчальних занять, передбачених робочою програмою, в т.ч. самостійній роботі.

Коли дотримуватись цієї логіки, то внутрішній екзаменаційний тестовий контроль повинен виконуватись на умовах інспекторського у випадку відсутності тестового поточного проміжного і підсумкового видів контролю з відповідної дисципліни. Такі вимоги повинні також пред’являтись студентам, які бажають покращити 4-х бальну (але не рейтинг) оцінку, при пропуску навіть одного поточного контролю, незалежно від причин. Такий підхід потребує від студента ритмічної роботи протягом кожного семестру.

Слід зауважити, що кількість тестових завдань і балів, якими вони оцінюються, не завжди співпадає у зв’язку з різною “цінністю” простих і складних за формою і змістом тест-завдань. Особливості оцінки тесту в балах ми більш детально розглянемо в наступних розділах. У подальшому будемо використовувати для кількісної оцінку тесту показник “кількість балів”, а не “кількість тест-завдань”.

Визначити кількість балів, яка повинна припадати на поточний, проміжний і підсумковий контроль, можна лише після оцінки особливості (важливості) дисципліни у формуванні високого рівня освітньо-професійної підготовки студентів.

Кількість балів тестів, які використовують для всіх видів внутрішнього контролю ЗУН у ВНЗ, і особливості дисципліни головним чином визначаються:

- обсягом і складністю матеріалу змістовних модулів;

- кількістю нормативно-правових показників, обов’язкових для запам’ятовування;

- існуючими формами контролю різних видів занять;

- рівнем використання теорії в практичних, лабораторних роботах, проектуванні і т.п.;

- рівнем формування умінь і навичок;

- якісними показниками тесту, що визначають рівень пізнання і компетентності студентів;

- індексом складності тесту;

- рівнем необхідних індивідуальних досягнень відносно вимог освітньо- кваліфікаційного рівня;

- кількістю кредитів.

Зазначені вимоги можна врахувати і об’єктивно оцінити відносно великою кількістю балів, що забезпечує зменшення впливу помилки вимірювання при визначенні оцінки рівня знань, умінь, навичок студентів. Методи статистичного аналізу дозволяють досить точно встановити потрібну кількість балів тесту залежно від заданої точності вимірювання. Так, для забезпечення точності в 10% тест повинен оцінюватись від 80 до 120 балів, - для точності 20% - від 20 до 30 балів. Таким чином максимальна сума балів контрольних тест-завдань не може бути фіксованою величиною для внутрішньовузівського контролю. Залежно від форми, виду і рівня контролю викладач повинен сам визначати оптимальну кількість балів, яка забезпечить відповідну точність вимірювання і об’єктивність оцінки ЗУН студентів з дисциплін. Але мінімальна сумарна кількість балів, якою оцінюються всі види навчальних занять з дисципліни, має складати 380-420 балів, тому що при державному кваліфікаційному іспиті саме такою має бути довжина тесту. В цьому випадку помилка вимірювання не перевищує 5%. Звичайно, складно оцінити в балах виконання практичних занять, лабораторних робіт, курсових проектів, активності студентів на диспутах, дискусіях, семінарах, лекціях і т.п. Але об’єктивний контроль вказаних видів навчання виправдовує себе, тому що значно підвищує рівень самоконтролю, відповідальність студентів за якість навчання, забезпечує ритмічність роботи протягом семестру, забезпечує покращення рейтингу. Тут виникає питання. Як бути, якщо неможливо написати з дисципліни тест довжиною в 380-420 тестових завдань, виходячи з обсягу її змісту і величини кредиту? У цьому випадку слід переглянути доцільність існування дисципліни як самостійної одиниці. Інноваційні технології передбачають інтеграцію такої дисципліни до спорідненої, в якості змістовного модуля, і розробку відповідної міждисциплінарної програми.

Мінімальна кількість балів тесту, яким оцінюється рівень знань змістовного модуля, може складати 100-120 балів, тобто оцінка повинна мати похибку не більше 10%.

У свою чергу, виходячи з необхідності забезпечення заданої точності вимірювання, можна визначити мінімальну кількість балів тематичного контрольного тесту. Вважаємо, що довжина тематичного тесту, як експрес-методу контролю поточної успішності, повинна складати 20-30 тест-завдань, що адекватно такій же кількості балів.

Визначивши мінімальну кількість балів модульних контрольних тестів, немає необхідності рекомендувати максимальну або нормативну довжину тесту, виходячи з наступних міркувань. Штучне обмеження кількості балів контрольних тестів приводить до зайвих труднощів в їх формуванні, обмежує творчість викладача, зменшує обсяг деталізації підконтрольного матеріалу, знижує вплив викладача як особистості на виховний процес і відповідальність за професійну компетентність випускників ВНЗ, не враховує специфіки змісту дисципліни, форму та обсяг навчальних занять. Обмеження як і безмірна стандартизація (частіше підганяють довжину тесту до 100 балів) в даному випадку можуть розглядатись як адміністративний тиск на творчу свободу викладачів, що зменшує в результаті кількість прихильників модульно-рейтингової системи навчання, значно стримує її розповсюдження або ставить під сумнів доцільність впровадження.

Обмеження можуть визначатись психологічними факторами і медичними вимогами, що відбивається на кількості часу, відведеного для контролю відповідного виду.

Вважаємо за необхідне звернути увагу викладачів на технологію конструювання та психометричного аналізу тесту. За результатами пілотного тестування на репрезентативній виборці проект тесту треба перетворити на стандартизований тест з відповідними діагностичними властивостями через визначення статистичних параметрів тест-завдань і тесту. Тільки після стандартизації тест може використовуватись для об’єктивної діагностики рівня якості освітньо-професійної підготовки фахівців. Для формування проекту тесту використовують базові тестові завдання, розроблені на основі навчальних елементів відповідного змістовного модуля дисципліни (див. розділ 3). Для конструювання проекту тесту потрібної довжини доцільно використовувати різноманітні за формою, типом і видом тест-завдання, попередньо визначивши теоретичний критерій якості. Групу тестованих відбирають в такій кількості, щоб досягнуті результати мали високу статистичну надійність (бажано більше 21 студента).

Після тестування перевіряють тести і визначають кількість нарахованих балів кожного тестованого. При опрацюванні тест-завдань враховують, що правильна відповідь залежно від форми, типу і виду оцінюється відповідною кількістю балів. За неправильну відповідь бали не нараховують. Бали правильної і неправильної відповідей взаємно знешкоджуються в рамках тест-завдання, що знижує ймовірність давати відповідь навмання.

Отримані результати перевірки розподіляють по балах від найбільшого до найменшого, вказуючи кількість тестованих, які мають однакову кількість балів.

Потім розподіляють тестованих на три групи для визначення „сильної” і „слабкої” групи. До „сильної” групи входить 1/3 частина тестованих, які отримали найвищі бали, - до „слабкої” – найнижчі бали. Після цього обчислюють індекси складності й диференціюючої здатності тест-завдань з метою визначення діагностичних властивостей останніх відповідно до рекомендацій, викладених у наступному розділі.

Після стандартизації проект тесту стане базовим тестом об’єктивної оцінки ЗУН студентів, який доцільно використовувати для конструювання різних варіантів контрольних тестів однієї складності.