Методика оценивания конкурсных работ — к обсуждению

 

Оценка каждой работы складывается из: оценки по таблице штрафов и словесного краткого заключения. Кроме того, по всем работам данной номинации эксперт пишет краткое общее заключение.

 

Порядок оценки по штрафным баллам

1. Основной принцип оценивания — штрафы за недостатки. Казалось бы, это то же, что и достоинства, только с обратным знаком. На самом деле число и, главное, разнообразие недостатков меньше, чем число и разнообразие достоинств; недостатки более предсказуемы. Поэтому при очень большом разнообразии жанров и тем изданий, возможностей создателей — штрафы удобнее. Еще — появляется возможность более гибкого подхода к оценке: штраф за отсутствие чего-то снимается только в том случае, если это «что-то» в издании этого жанра и целевого назначения должно быть. Например, вряд ли можно штрафовать за отсутствие библиографических ссылок, например, продукт, предназначенный для детей, или документальный фильм; за бедность видеоряда — базу данных. Кроме того, использование штрафов полезнее при подведении и публикации итогов конкурса для самих конкурсантов, которые увидят, что именно было неудачно, и смогут это учесть в дальнейшем.
2. В перечень недостатков нами включены наиболее типичные и очевидные, «приложимые» почти к любой работе. Можно оставить экспертам возможность добавить «свой» недостаток, который он считает важным при оценивании работ данного жанра, содержания или целевого назначения (с той же «вилкой» штрафных баллов. Если мы эту возможность принимаем, то такие «свои» дополнительные формулировки (с назначенным им штрафом) вносятся экспертом в таблицу, но при подведении итогов их обоснованность может быть оспорена.
3. Считаем, что нет необходимости назначать сложную систему баллов (от 0 до 9 через «ступеньку»: 0, 1, 3, 5, 7, 9): запутаемся (чем длиннее этот ряд, тем больше субъективности при выборе). Достаточно, наверно, 1–3 (с обязательным проставлением «0» в случае отсутствия недостатка, чтобы ничего не пропустить случайно). «Вилку» не обязательно давать по всем критериям: она нужна там, где может быть разная степень проявленности недостатка (например, много или мало ошибок в описаниях или тексте). В остальных случаях (где «да — нет») можно ограничиться и одной цифрой — в зависимости от значимости недостатка: если серьезный, то 3, если не очень, то 1 или 2.
4. В дополнение к штрафам предлагаем три позиции, по которым баллы набавляются: а) сложность, б) новизна задачи и в) оригинальность решения. Это кажется важным, чтобы стимулировать новые разработки и направления, иначе все преимущества окажутся у простецких «презентаций». Вероятно, по каждой из этих трех позиций «вилка» баллов должна быть больше, чем «штрафная»: а) если эта новизна или сложность оценивается в +1, ее незачем вообще вводить; б) положительные баллы должны «перекрывать» суммарно, скажем, парочку недостатков, оштрафованных по максимуму (не больше). Скажем, 3–5 баллов по каждой из трех позиций.
5. Все «штрафные» баллы предлагаем свести всего в 2 таблицы, соответственно для экспертов-библиографов и экспертов-автоматизаторов: а) для оценки содержания и б) для оценки функциональности и оформления. Результаты можно обработать и представить в виде двух рейтингов. Баллы за новизну–сложность–оригинальность вводятся на последнем этапе уже в итоговую таблицу рейтингов и учитываются при подведении итогов.

 

Краткое заключение по каждой работе

1. Краткое заключение (в один-два абзаца, не больше), в котором нужно выразить общее впечатление от работы и обязательно сделать вывод о том, может ли она претендовать на награду в конкурсе (т. е. войти в шорт-лист). В этом заключении нет необходимости расписывать конкретные недостатки, поскольку они уже отмечены баллами, а вот о достоинствах работы или каких-то других обстоятельствах «в плюс» ей (например, о том, что она выполнена малыми силами, в режиме подвига), вероятно, сказать можно. Никаких ограничений по числу работ, которые нужно (можно) включить в шорт-лист или, наоборот отсеять, нет.
2. В связи с этим вопрос: в каком случае работа не попадает в шорт-лист: если она в него не рекомендована хотя бы по заключению одного эксперта или если таких заключений хотя бы два?

 

Общее заключение по всем работам данной номинации:

В общем заключении эксперт должен:

1. Назвать по одной работе, заслуживающей, по его мнению, первого, второго и третьего места. Надо ли здесь обосновывать эти выдвижения?
2. Назвать работы (будем ли ограничивать их число?), которые не могут претендовать на первое-второе-третье место, но заслуживают быть отмеченными (скажем, специальной грамотой, благодарственным письмом, чем-то еще) за какие-то определенные достоинства. И сформулировать — за что.

 

Общая процедура работы по оценке и подведению итогов

 

1. Каждый эксперт по электронной почте получает образец бланка экспертной оценки (см. ниже) и список работ, которые ему предстоит оценивать. Вписывает (впечатывает) в бланк только название оцениваемой работы (этого вполне достаточно), заполняет, распечатывает и подписывает. Пишет общее заключение по всем работам своей номинации. И посылает — файлы по эл. почте и распечатки — по обычной.
2. Полученные файлы обрабатываются в оргкомитете: по суммам штрафных баллов делаются соответственно два рейтинга («краеведов» и «автоматизаторов») — для всех работ. Оценки по баллам, сделанные разными экспертами-«краеведами» в пределах одной номинации, усредняются. Общие рейтинги в таком виде нужны для дальнейшей публикации результатов конкурса на сайте.
3. Далее — для оценки из полученных «больших» рейтингов исключаются работы, не включенные экспертами в шорт-лист. Оценки по двум рейтингам суммируются; при прочих равных предпочтение отдается работам, у которых выше оценки по содержанию. Рассматриваются предложения экспертов по номинантам на призовые места, учитываются и дополнительные баллы за новизну-сложность-оригинальность.
4. В случае затруднений при выборе оргкомитет организует обсуждение.

 

Внимание: таблица штрафов сейчас заполнена почти целиком. Просьба к коллегам из Информрегистра: развернуть по аналогии со всем остальным последний пункт таблицы штрафов для экспертов-автоматизаторов: «Оформление издания»: расписать обязательные требования с баллами штрафов.

Таблица штрафов

 

Критерии	Недостаток	Штрафные баллы (–)	Примечания
Общие
1. Обоснованность	Нет обоснования или оно неубедительно, неконкретно. Неясны или неверно определены целевое назначение, целевые группы, возможности использования	1–3	оценивается также содержание заявки и пояснительной записки
2. Соответствие цели	Издание не соответствует поставленной цели, целевым группам; не может быть полноценно использовано так, как предположено авторами	1–3
Содержание
3. полнота	Тема издания в рамках поставленной цели не раскрыта или раскрыта не полностью; односторонне, тенденциозно	1–3
4. достоверность	В издании содержатся фактические ошибки, недостоверные сведения; использованы ненадежные источники информации	1–3
5. источники	Источники информации неизвестны или указаны неполно, неточно	1–3
6. удобство ориентации	Нет вводного текста (предисловия, вступительной статьи, обращения к пользователю и пр.), объясняющего его назначение, особенности содержания и структуры, возможности использования. Или: текст неясный, слишком краткий, слишком сложный	1–3
7. справочный аппарат	В издании с большим объемом текстовой информации нет «ключей»	1–3
8. качество изложения	Авторские тексты (т. е. за исключением текстов публикуемых документов и цитат из опубликованных источников) неудачны по стилю, неинтересны, растянуты или, наоборот, слишком кратки;	1–3
9. грамотность, культура издания	В текстах встречаются грамматическое ошибки и опечатки	1–3
10. библиографический аппарат	Библиографические описания выполнены с нарушениями действующих ГОСТов на БО или библиографическую ссылку; в них встречаются ошибки и опечатки	1–3	Если отклонения от ГОСТов не оговорены в издании и не связаны с его назначением
Структура
11. замысел	Структура неудобна, не соответствует назначению и содержанию, непонятна, нелогична	1–3
12. реализация	В наполнении структуры встречаются ошибки: отнесение материала не к тому разделу, рубрике и пр.; дублирование одних и тех же сведений в разных местах издания	1–3
Иллюстрации
13. состав	Визуальный ряд беден, недостаточен для раскрытия темы, не выстроен как система	1–3
14. связь с содержанием	Видеоряд не связан с текстом, «оторван» от него	1–3
15. эффективность использования	Краеведческие видеоматериалы использованы только в качестве украшения, не подписаны	1–3
16. звук	Звуковой ряд, музыкальный фон не соответствуют целевому назначению, основному содержанию и / или видеоряду, отвлекают, мешают восприятию	1–3
Итого по разделу

 

Функциональность
1. Способ инсталляции и воспроизводимость
- автозапуск	отсутствует
- инсталляция и деинсталляция	нужна инсталляция программы, но не предусмотрен файл деинсталляции
- требования к ОС	Диапазон ограничен (менее трех ОС); включены устаревшие ОС	1–3
- дополнительные программы просмотра	если для просмотра нужна инсталляция дополнительных программ, но сами программы не прилагаются
Ошибки программной оболочки	Заявленные функции не работают или работают неадекватно	1–3
- наличие файла помощи (help)	отсутствует	1–3
2. Навигация и ссылки
- возможность перехода по ссылкам с оглавлений и указателей	Отсутствует
- всплывающие подсказки к пиктограммам	отсутствие всплывающих подсказок к пиктограммам, если их назначение неочевидно
- определение местоположения	трудно сориентироваться, в каком разделе находишься (нет подсветки раздела, нет «хлебных крошек», нет названия страницы)	1–3
- переходы между страницами	трудно вернуться на нужную страницу, не удобны переходы между страницами; если представлено многостраничное издание, то должна быть возможность перехода на страницу через ввод номера страницы	1–3
- внешний вид и работоспособность ссылок	встречаются неработающие ссылки; ссылки плохо заметны в тексте; название ссылки запутывает	1–3
3. Пользовательские сервисы
- поиск	отсутствие поиска, если он необходим или если поиск есть, но он по каким-то причинам не удовлетворяет (встречаются ошибки, плохо организован)	1–3
- закладки	отсутствует возможность сделать/удалить закладку
- комментарии	отсутствует возможность оставить свои комментарии
- печать страницы	отсутствует возможность распечатать страницу или при печати страница выводится с обрезкой текста
- копирование части текста, изображения	отсутствует
- масштабируемость изображений	отсутствует	1–3
- контроль за мультимедийными приложениями	нет возможности убрать звук, остановить просмотр и т. д.
Дизайн
4. Графический дизайн
- визуальная привлекательность	Отсутствует; тексты слишком длинные (материал занимает больше трех экранов)	1–3
- цветовая гармония	отсутствует	1-3
- шрифты	цвет шрифта и фона создают неудобства при чтении (недостаточно контрастны, шрифт располагается на узорчатом фоне); размер шрифта вызывает затруднения у людей с плохим зрением, а возможность его увеличить не предусмотрена;	1-3
- форматирование текста	плохое	1-3
- качество изображений	плохое	1-3
- влияние разрешения монитора, размера окна браузера	появление искажений при изменении разрешения экрана, а также при изменении окна браузера (если он используется для просмотра);
5. Эргономичность, интуитивная понятность
- простота использования	большое количество кликов для выхода на нужную страницу; большая разнесенность элементов, по смыслу связанных друг с другом	1-3
- понятность названий и поведения элементов управления	название можно по-разному трактовать; неактивный элемент управления выглядит как активный и наоборот	1-3
6. Стилевое единство	отсутствует в частях издания; отсутствует в оформлении издания, диска и контейнера	1-3
7. Выходные сведения	Издание оформлено с нарушением ГОСТа на электронное издание
- обязательность наличия элементов выходных сведений в электронном издании (наличие оформления выходных сведений на титульном экране, этикетке диска и первичной упаковке)	На титульном листе
На этикетке диска
На первичной упаковке
- расхождения между одними и теми же сведениями в разных местах электронного издания	Разночтения в форме приведения: автор/составитель, разночтение в заглавии и подзаголовочных сведениях (мультмедийный учебник – учебное пособие и т.д.)	1-3
- наличие и полнота основных элементов выходных сведений, правильное их приведение, (раздел 4-ГОСТ 7.83-2001, п. 2 и 3) и обязательность их указания в различных частях электронного издания	обязательное или факультативное приведение выходных сведений (минимальные системные требования, аннотация и библиографическое описание – на первичной упаковке, автор, заглавие, знак авторского права – везде)	1-3
Итого по разделу
8. Для видеофильмов
Меню (содержание; список частей)	отсутствует		Только для dvd
Возможность просмотра по главам (частям)	отсутствует		Только для dvd
Условия просмотра (необходимое ПО)	Не оговорены;	6/3	Первая цифра – для отдельных видеофильмов, вторая для видеофрагментов изданий
Необходимое ПО отсутствует на самом диске, его нужно искать и скачивать дополнительно	6/3
Качество изображения	Изображение слишком мелкое (менее 720x576 dvd-качество), нечеткое, темное, недостаточно контрастное, дергается или дрожит, «рассыпается» на квадраты. Зависание или проскакивание отдельных кадров	6–9/3–1
Качество звука	Звук при максимальных настройках ПО и ПК слишком тихий, неразборчивый, плывущий, хрипящий; несоответствие изображению (рассинхронизация)	6–9/3–1
Структура dvd-диска	Невозможно проигрывать на стационарном dvd-плеере из-за нарушения структуры dvd-диска (должно быть две папки)		Только для dvd

 

 

 

Образец бланка для экспертной оценки

 

Название издания Поэты-симбиряне в музыке

Номинация Коллективная персоналия

 

Таблица штрафов

 

Критерии	Недостаток	Штрафные баллы (–)	Примечания
Общие
1. Обоснованность	Нет обоснования или оно неубедительно, неконкретно. Неясны или неверно определены целевое назначение, целевые группы, возможности использования		оценивается также содержание заявки и пояснительной записки
2. Соответствие цели	Издание не соответствует поставленной цели, целевым группам; не может быть полноценно использовано так, как предположено авторами
Содержание
3. полнота	Тема издания в рамках поставленной цели не раскрыта или раскрыта не полностью; односторонне, тенденциозно
4. достоверность	В издании содержатся фактические ошибки, недостоверные сведения; использованы ненадежные источники информации
5. источники	Источники информации неизвестны или указаны неполно, неточно
6. удобство использования	Нет вводного текста (предисловия, вступительной статьи, обращения к пользователю и пр.), объясняющего его назначение, особенности содержания и структуры, возможности использования. Или: текст неясный, слишком краткий, слишком сложный
7. качество изложения	Авторские тексты (т. е. за исключением текстов публикуемых документов и цитат из опубликованных источников) неудачны по стилю, неинтересны, растянуты или, наоборот, слишком кратки;
8. грамотность	В текстах встречаются грамматическое ошибки и опечатки
9. библиографический аппарат	Библиографические описания выполнены с нарушениями действующих ГОСТов на БО или библиографическую ссылку; в них встречаются ошибки и опечатки		Если отклонения от ГОСТов не оговорены в издании и не связаны с его назначением
Структура
10. замысел	Структура неудобна, не соответствует назначению и содержанию, непонятна, нелогична
11. реализация	В наполнении структуры встречаются ошибки: отнесение материала не к тому разделу, рубрике и пр.; дублирование одних и тех же сведений в разных местах издания
Иллюстрации
13. состав	Визуальный ряд беден, недостаточен для раскрытия темы, не выстроен как система
14. связь с содержанием	Видеоряд не связан с текстом, «оторван» от него
15. звук	Звуковой ряд, музыкальный фон не соответствуют целевому назначению, основному содержанию и / или видеоряду, отвлекают, мешают восприятию
15. эффективность использования	Краеведческие видеоматериалы использованы только в качестве украшения, не подписаны
16. Другие недостатки	[заполняется экспертом]
Итого

 

 

Краткое заключение по изданию

_______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

 

 

Подпись эксперта (с расшифровкой)__________________________________________________

 

 

Дата_______________________.