Глава 3. С другой стороны, есть и ряд недостатков: 1) с помощью имитатора нельзя воспроизвести полный цикл работы системы (разумеетсяС другой стороны, есть и ряд недостатков: 1) с помощью имитатора нельзя воспроизвести полный цикл работы системы (разумеется, это относится к процессу эксплуатации); 2) качество моделирования может оказаться ниже, чем желательно; 3) тестируемый персонал обычно не обладает такими навыками, как эксплуатационный персонал; 4) при моделировании системы могут быть проиграны только сценарии обучения, которые не полностью отражают все условия эксплуатации; 5) время, на которое ИЧФ может получить имитатор исключительно для измерений, может быть ограниченным. Остальные ситуации испытаний имеют только им свойственные недостатки. Поскольку эксплуатируемая система включена во внешнюю среду, иногда возможны внешние воздействия на нее, которые снижают чистоту исследований (например, в случае прерываний, вызванных командами с более высоким приоритетом). Именно это является причиной многих известных случаев нарушения управления при работе в реальных условиях. Может так случиться, что предпосылки РИ системы-прототипа не будут полностью удовлетворены, например в случае устойчивых конфигураций аппаратуры (как оборудования, так и процедур); из-за непрерывно возникающих в процессе разработки трудностей испытываемое оборудование может давать больше отказов, чем в реальных условиях. Макет настолько ограничен по возможностям предъявления стимулов и по соответствующим ответным реакциям персонала, что при анализе результатов испытаний требуется проводить тщательную экстраполяцию [5]. Главными задачами оценки эффективности систем могут быть следующие: 1) проверить, может ли персонал решать стоящие перед ним задачи без существенных ошибок или перегрузки; 2) проверить, не являются ли процедуры управления и другие характеристики оборудования и системы непреодолимыми препятствиями для эффективной работы персонала и удовлетворяют ли эти характеристики критериям инженерной психологии; 3) определить, какое влияние на работу персонала оказывают некоторые резко различающиеся переменные, непосредственно связанные с назначением аппаратуры и всей системы (например, операции, выполняемые днем, и операции, выполняемые иочью); 4) определить с поведенческой точки зрения адекватность той или иной модификации в работе, аппаратуре, всей системе или ее назначении, а также адекватность того или иного конструктивного решения задачи; 5) посредством оценки работы персонала в условиях эксплуатации системы определить, является ли эта работа адекватной, и если нет, то выяснить, какие факторы вызывают снижение эффективности работы. Оценка эффективности систем Чем более полной является проверяемая система и чем ближе условия ее работы к реальным, тем полнее достигаются, цели тестирования. Вот почему можно осуществить только-часть целей тестирования с помощью статического м:акета (наиболее распространенного типа макета). Это означает, что можно получить частичные данные, которые не полностью удовлетворяют целям тестирования. Например, допустим, что имеется статический макет кабины истребителя. Тогда с его помощью устанавливается, что органы управления досягаемы, а показания приборов считываются, что и требуется для эффективного функционирования самолета. Однако это лишь частичное испытание (только с точки зрения антропометрии), которое позволяет установить, что персонал может выполнять свои задачи. Требуется еще имитатор по крайней мере для того, чтобы проверить, достаточно ли быстро реагирует летчик на изменение окружающей обстановки. Описанные выше задачи тестирования относятся как к системам, работающим в реальных условиях, так и к процессу разработки систем. По мере того как система создается, выясняются все новые ее характеристики, на основе которых модифицируется оборудование и процедуры. Чтобы определить, насколько оправданны эти модификации, необходимо проводить тестирование. Система должна повторно тестироваться в процессе работы, поскольку при испытаниях нельзя получить данные относительно того, насколько хорошо она соответствует поставленным целям; например, военные системы не программируются лля работы в условиях боя до тех пор, пока ие начнутся боевые действия. Проверка боевых систем может осуществляться в военных играх, например при соревновании двух подразделений пехоты с поддержкой в виде танков, артиллерии и самолетов. Если в работе системы возникают перебои, то необходимо исследовать параметры задачи. Или же ИЧФ должен определить влияние на качество работы потенциально важных внутренних переменных (например, чередования рабочих смен). Иногда РИ и испытания имитатора проводятся просто для того, чтобы собрать исследовательские данные. Оценка эффективности системы (РИ) имеет особенности [26], которые мало связаны с особенностями традиционных исследований в режиме управляемого эксперимента (например, в лабораторных условиях): 1) ориентация на реальные задачи, но с наличием помех: 2) ограничение по времени и ресурсам; 3) измерения выполняются скорее в макроединицах, чем в микроединицах (в минутах, а не в секундах); 4) оценивается как аппаратура, так и персонал; 5) используется системный подход; 6) характеризуется высокой обоснованностью; 7) имеется меньше возможностей для управления испытаниями; 8) множе- 110 Глава 3 _____
ствениые цели и множественные критерии (как промежуточные, так и конечные); 9) наличие многих уровней входа в процесс испытания и/или в систему. Термин «оценка эффективности системы» означает, что ИЧФ измеряет характеристики деятельности персонала. Тестирование по характерным признакам (которое состоит в получении субъективных оценок характеристик системы, оборудования и работы в отличие от деятельности персонала, взаимодействующего с этими характеристиками) не является оценкой деятельности. Наиболее распространенный вид тестирования по признакам — оценка адекватности инженерно-психологических характеристик оборудования. Гир [22] проводил различие между неформальными и формальными процедурами И и О, причем первые относятся к тестированию по признакам (оценка характеристик конструкции аппаратуры, представленной в виде либо чертежей, либо неработающего макета или оборудования), а вторые относятся к измерению деятельности. Оценка характеристик оборудования иногда составляет часть процесса тестирования эффективности работы и поэтому также рассматривается здесь. Изложенное применимо также к таким субъективным инструментам измерения, как интервью, вопросники и ранжирование, которые используются для получения информации об эффективности работы, хотя и не могут использоваться для непосредственного измерения деятельности. 3.3. План испытаний при измерении деятельности Такой план необходим в каждой ситуации тестирования. Очевидно, он особенно необходим тогда, когда ситуация тестирования сложна. Те вопросы, которые перечислены в табл. 3.1, относятся также к проведению всех измерений в лабораторных условиях. Однако категории плана испытаний имеют другой смысл, если испытания являются системно-ориентированными. Например, как увидит читатель, в каждом лабораторном испытании применяются те или иные критерии и меры, но при проверке эффективности работы системы существенное значение приобретают стандартные процедуры. В процессе раскрытая этих категорий рассматриваются многие переменные, которые влияют на измерения рабочих характеристик системы, причем особое внимание обращается на некоторые установки. Можно, конечно, измерять характеристики без предварительной разработки плана испытаний, однако результаты скорее всего будут хуже ожидаемых. Полезность составления такого плана ясна. Он требует от ИЧФ точно определить, что нужно делать при испытаниях; усилия, связанные с составлением такого плана, могут помочь прояснить многие детали. Таблица 3.1. Часть плана тестирования эффективности Сис т емы, о т носящаяся к деятельнос т и персонала [34] 1.0. Цель тестирования 1.1. Общая. Пример: проверить, может ля персонал, обслуживающий данную систему, выполнить требуемые задачи. 1.2. Конкретная. Пример: определить характер и количество ошибок, "которые совершает персонал; определить влияние низких температур (условия Арктики) на способность экипажа управлять танком. 2 0. Описание оцениваемой системы 2.1. Перечень аппаратуры, на которой работает персонал и собираются данные о его деятельности 2.2. Перечень этапов испытаний, на которых будут собираться данные о деятельности персонала. Пример: установить стойку для ведения стрельбы в координатах XYZ и проверить ее работу. 2.3. Перечень задач, для которых будут собираться данные о деятельности персонала. Пример: выравнивание теодолита М - 113. 2.4. Прикладные технические руководства или другие процедуры. 3.0. Экспериментальное сравнение (если потребуетси). Пример: сравнить точность навигации днем н ночью в условиях разведывательных полетов. 4.0. Стандарты, критерии и меры 4.1. Стандарты, относящиеся к деятельности персонала. Пример: получить, закодировать и передать от 12 до 15 сообщений в час. 4.2. Критерии оценки деятельности персонала. Пример: диапазон обнаружения, число посланных сообщений. 4.3. Измерения деятельности персонала. Пример: время, требуемое для зарядки ракетницы; оценка офицером деятельности разведгруппы. 5.0. Методы сбора данных 5.1. Сборщики данных 5.1.1. Число. Пример: 4. 5.1.2. Задачи, которые нужно выполнить. Пример: записать время включения и остановки прибора лазерного слежения. 5.1.3. Тренировка (если требуется). Пример: все сборщики данных должны получить трехчасовой инструктаж но сбору данных об автомате F42 (см. расписание тренировки). 5.2. Виды сбора данных. Пример: список данных для выдвижного пулемета (прилагается); заполнение водителем опросника после выполнения задания (прилагается). 5.3. Процедуры сбора данных. Пример: см. приложение А, где есть план тестирования. 5.4. Аппаратура (если потребуется). Пример: видеомагнитофон; два магнитофона с тремя кассетами для сбора данных. 6.0. Характеристики испытуемых 6.1. Число. Пример: трн отделения. 6.2. Требуемые характеристики. Пример: все испытуемые будут иметь остроту зрения 20/20 (скорректировано) и будут аттестованы как стрелки, обслуживающие выдвижной пулемет. 7.0. Ограничения 8.0. Анализ данных Пример: определить среднее чи^ло (и стандартное отклонение) сообщений, которые передавали на батарею передовые наблюдатели; вывести уравнение, которое связывает скорость заридки пулемета и число ошибок стрелка. 9.0. Расписание тестирования Пример: одновременно с другими тестами. Глава 3 Таблица 3.2. Элементы измерений эффективности системы
План испытаний дает также информацию лицам, которые при-частны как к планированию, так и к реализации планов. В процессе тестирования ИЧФ используют по крайней мере одну из методик, перечисленных в табл. 3.2. Возможно использование более чем одной методики, однако это зависит от степени полноты тестирования (например, предназначено ли оно для аппаратуры или рассчитано на всю систему). Одна из наиболее привлекательных черт процедуры тестирования эффективности системы — большое разнообразие выбора методов тестирования для ИЧФ. Недостаточная сложность тестирования ситуации может Оценка эффективности систем быть причиной ограничения числа применяемых методов. Например, ясно, что при наличии статического макета нельзя воспользоваться приемом автоматического сбора данных в отличие от испытаний работающей системы или имитатора. Некоторые методы тестирования характеризуются большей общностью, чем другие. Например, в любой ситуации сбора данных наблюдение может использоваться как инструмент измерения, а автоматические методы — нет. Один из интересных аспектов тестирования деятельности оператора заключается в том, что испытатель старается проводить измерения в условиях, максимально приближенных к реальным; независимо от того, насколько удовлетворительно такое приближение (оно далеко от реальности, например, в случае статического макета). В попытках добиться максимального приближения к работающей системе много внимания уделяется планированию и сбору данных при тестировании. В этом отношении условия оценки эффективности систем в корне отличаются от условий лабораторных психологических исследований, в которых может и не требоваться соответствие реальным условиям. 3.3.1. Цели тестирования В табл. 3.1 (разд. 1.0) описывается цель тестирования деятельности оператора. Может показаться, что эта цель сама собой разумеется. Но часто это оказывается не так, особенно в случае тестирования прототипов для определения их соответствия с требованиями ЧФ, которые обычно явно не задаются. Обычно требования к оценке системы относятся ко всей конструкции в целом, т. е. к ее управляемости, обслуживаемости и надежности. Однако следует разбивать эти задачи на несколько более конкретных, поскольку, будучи поставлены абстрактно, они мало что дают для выбора подходящих методов или стратегии тестирования. Цели тестирования эффективности систем, перечисленные в предыдущем разделе, являются весьма общими. Необходимость детального описания целей тестирования объясняется тем, что с ними непосредственно связаны его методы. Только разбив общую цель на ряд конкретных целей, можнй решить, как проводить измерения. Конкретными целями проверки могут быть, например, компетентность персонала и адекватность процесса обучения и технической документации. Конкретная цель оценки деятельности персонала может быть сформулирована как установление эффективности его работы с точки зрения ЧФ. После того как ИЧФ составит список подлежащих определению данных о деятельности персонала, каждый его пункт станет определенной целью тестирования. Поскольку при обследовании новой системы имеется много неизве-
|
