Глава 3. общих вопросов, переходя постепенно ко все более детальным; 6) позволить тестируемым самим выбирать

общих вопросов, переходя постепенно ко все более детальным; 6) позволить тестируемым самим выбирать, о чем они хотят говорить, если они не отклоняются от заданной темы (опрос не является простым обменом вопросами и ответами; при необходимости, верните тестируемого к теме опроса); 7) старайтесь выяснить как можно больше подробностей, если опрашиваемый высказывает особенно интересные или нестандартные суждения;

8) завершайте опрос не позже, чем через 30 мин, поскольку опрашиваемые начинают чувствовать усталость через 20 мин;

9) если опрос проводится после каждой серии испытаний, не следует задавать одинаковые вопросы после каждого испытания в сходной манере (ИЧФ следует сократить опрос, если он получает те же ответы, что и в предыдущем интервью; он должен иметь в виду, что испытуемым может надоесть опрос); 10) ответы хорошо записать на магнитофон, если запись не вызывает протеста у тестируемого (можно замедлить опрос, если ответы записываются вручную); 11) можно проводить групповой опрос, когда присутствуют все члены бригады.

Преимущество анкетирования перед опросом состоит в охвате больших групп тестируемых, тогда как проводить опрос очень большой группы испытуемых затруднительно. Существует множество подробных инструкций о том, как разрабатывать анкеты [37]. За исключением указанного недостатка, опрос — предпочтительный метод сбора субъективной информации, поскольку он более гибок по сравнению с анкетой (имеющей установленную форму) и помогает ИЧФ получить желаемые данные. «Руководство», разработанное ИЧФ, может позволить получить более содержательные ответы. Поскольку для управления большинством систем не требуется слишком много персонала (обычно менее 10 человек), то опрос используется гораздо чаще, чем анкета.

3.4.7. Автоматизированная оценка деятельности

Немногие современные системы располагают автоматизированной системой регистрации ответов оператора, хотя растущая компьютеризация их позволяет рассчитывать на решение этой проблемы. В военно-морском центре океанских систем была разработана система автоматизированной оценки деятельности (АОД), названная СРОРДО (система регистрации и оценки результатов деятельности оператора) [40J, для использования в контрольно-командных системах на борту флагманских кораблей. Однако выяснилось, что СРОРДО неадекватна требованиям к информации, и поэтому была отвергнута. Система оценки деятельности, созданная фирмой «Дженерал физике корпорейшн», использовалась для сбора информации об ошибках на

Оценка эффективности систем

имитаторе пульта управления атомной электростанцией [4]. Имитатор полета ASUPT снабжен сложной системой АОД [20, 51J.

Все больше учебных тренажеров программируются таким образом, чтобы ответы учащихся регистрировались автоматически; в этом состоит сущность понятия «машинное обучение». Тем не менее, за исключением систем, создаваемых на основе полной компьютеризации, вряд ли возможно наличие АОД для разрабатываемого изделия на этапе РИ и тем более на этапе макетирования. Имитатор остается единственной возможностью применения АОД.

Существуют попытки визуализации автоматизированного сбора данных, однако эта методология имеет ряд недостатков: 1) разработка таких систем измерений очень дорога и занимает много времени, вследствие чего они используются главным образом для исследований, а не для оценок; 2) система АОД должна разрабатываться специально для сбора данных на конкретной системе (универсальная система автоматизированной записи данных, вероятно, не может быть создана на данном этапе развития техники); 3) современные системы АОД могут регистрировать только непосредственные реакции оператора на физические стимулы (они не могут регистрировать перцептивные и когнитивные ответы оператора, о которых можно судить лишь косвенно на основании управляющих действий оператора, что значительно уменьшает практическую ценность АОД);. 4) многие руководители испытаний предпочитают пользоваться более простыми способами сбора информации.

3.4.8. Контрольные листы

Контрольные листы с целью оценки используются главным образом в так называемом «тестировании свойств», которое позволяет судить о том, что должен или не должен содержать человеко-машинный интерфейс для получения желаемых характеристик. Контрольные листы применяются главным образом для оценки на стадии изготовления чертежей, реже — на стадии статического макетирования и совсем редко — на стадии РИ; по сути они являются мнемоническими средствами, побуждающими ИЧФ к выработке определенных суждений. Хотя эргономические контрольные листы можно использовать в любом тесте, они мало применяются в тех случаях, когда характеристики деятельности могут быть измерены, так как измерения — более надежное средство, чем суждения ИЧФ. Например, с помощью анализа природы ошибок оператора можно установить происхождение эргономических неадекватностей интерфейса.

В гл. 2 отмечаются некоторые особенности контрольных лис-