Глава 3. ориентированное на сценарий, и тестирование, ориентированное на операцию

ориентированное на сценарий, и тестирование, ориентированное на операцию. Тестирование, ориентированное на сценарий, проводится для систем, режим работы или функции которых изменяются в соответствии с изменением рабочей ситуации. Например, что касается системы управления огнем противовоздушных средств защиты корабля (ПВСЗ), которая большую часть времени находится в режиме поиска, до тех пор пока не начнется атака с воздуха, то эта система подвергается тестированию, ориентированному на сценарий. При таком тестировании оцениваемая система заменяется моделью развития рабочей ситуации, т. е. сценария. Для системы ПВСЗ может быть запрограммирована ситуация налета боевого самолета, который появляется в заранее установленное, но не объявленное время. Для универсальных систем может потребоваться несколько сценариев, чтобы проверить все возможности системы. Тестирование по сценарию имеет большое значение для ИЧФ, поскольку его могут попросить разработать соответствующий сценарий, и он должен предвидеть, какое влияние будет оказывать сценарий на его деятельность по анализу и измерениям. Например, может потребоваться большее число наблюдателей или большее число jco6bix мер оценки эффективности.

Тестирование, ориентированное на операции, используется для оборудования или подсистем, режим работы которых остается постоянным в период всего времени работы. Для задач, связанных с таким оборудованием, требуются менее интенсивные измерения поведения.

Для такого разбиения плана тестирования не обязательны весьма детальные описания задачи и оборудования; достаточно описаний в процедурах и технической документации; однако должны быть определены процедуры и оборудование, связанное с ними.

3.3.3. Экспериментальные сравнения

Если макет, оборудование или система предназначены для работы в различных режимах (например, разведка и атака, день пли ночь) или если операции системы содержат такие переменные, которые могут отражать различия в деятельности персонала или влиять на нее, то эти переменные должны быть изучены Дразд. 3.0 в табл. 3.1). Если они не будут изучаться, то некоторые скрытые свойства данной системы так и останутся неизвестными.

Следует перечислить все факторы, которые должны быть изучены. Иногда эти факторы соответствуют разным задачам системы (например, поиску и атаке) или изменениям в ее нормальном функционировании (например, индивидуальным сдви-

Оценка эффективности систем 117

гам в работе персонала). Они могут также отражать различия между тренировкой и опытом (например, тогда, когда для работы в боевых условиях привлекается дополнительный персонал, скажем клерки). Всегда должны тестироваться альтернативные задания и различный персонал, а также маловероятные рутинные операции, присущие системе, если они могут оказать влияние на деятельность операторов. Следовательно, каждый фактор, отражающий резко различающиеся условия, требует экспериментального сравнения. Большинство систем разной сложности обладает несколькими назначениями и факторами, которые должны сравниваться.

Если сравниваемые поведенческие условия характерны для назначения системы (например, операции, проводимые днем и ночью), они не требуют установления специальных тестовых ситуаций (иных, чем разработка необходимых сценариев). Руководители испытаний предпочитают оказывать минимальное влияние на привычную работу системы.

Для этих сопоставлений пригодны экспериментальные схемы того же типа, что и в исследовательских работах с более жестким контролем (например, анализ дисперсии). Однако, если работа системы зависит от неконтролируемых факторов (например, погодных условий или действий имитируемого противника), использование схемы с жестким контролем затруднительно. В работе [48] проводились испытания прототипа средства для быстрой транспортировки морских пехотинцев с корабля-амфибии на берег независимо от состояния моря. Проверялось, насколько мешают нормальному выполнению боевых функций на берегу (стрельба по целям, преодоление препятствий) те 2 ч, которые до этого солдаты провели на море. В идеале данные должны были бы собираться для состояния моря № 1, 2 и т. д. Однако на практике определенные состояния моря реализовать невозможно, поскольку его состоянием управлять нельзя. Поэтому невозможно анализировать данные по плану дисперсионного анализа.

Следовательно, при проверке систем стандартные экспериментальные схемы применяются с определенными ограничениями. Однако сравнение экспериментальных схем можно производить частично post facto по тем данным, которые уже собраны.

3.3.4. Стандарты, критерии и показатели

Обзор. Инструкция MIL-H-46855B [15] требует, чтобы тесты по Чф были основаны на критериях, которые описывают задачи адекватно. Однако критерий — понятие достаточно абстрактное (например, скорость, время реакции). Смысл упомянутой инструкции состоит в том, что должны разрабатываться такие

118 Глава 3

показатели и стандарты для определения характеристик задачи, чтобы фактические характеристики можно было сравнивать со стандартными (разд. 4.0 в табл. 3.1).

Показатель — это просто описание поведения персонала или результата работы системы. Стандарт является гораздо более важным как некоторая цель, которую персоналу требуется достичь на данной системе. Критерии, показатели и стандарты определяют способ описания поведения персонала и характеристик системы. Они тесно связаны друг с другом и поэтому могут поставить ИЧФ в затруднительное положение при планировании процедуры измерения.

Если ИЧФ хочет разработать стандарты и меры, он должен начать с критерия, поскольку наиболее правильной последовательностью действий будет следующая: 1) определить критерий; 2) определить показатель, который делает данный критерий конкретным и точным; 3) установить стандарт, который скоординирован с показателем.

Обсуждая этот вопрос, мы меняем причину и следствие, отталкиваясь от стандарта, поскольку именно его мы в конце концов и надеемся вывести, а без стандартов истинная оценка невозможна; затем мы описываем критерии, поскольку показатели выводятся из них, и заканчиваем обсуждением показателей.

Стандарты. Стандарты деятельности связаны с большинством главных целей тестирования. Если нет стандарта деятельности, то нельзя установить, выполняется ли работа персоналом с достаточной эффективностью (например, если уровень X является средним, то Х-\-п — «высоким», а X — п — неудовлетворительным). Если нет стандарта, то любое изменение деятельности будет необъяснимым. Даже тогда, когда сравнения проводятся между условиями А и В, желательно знать, остаются ли более низкие показатели эффективности В в рамках стандарта. Отсутствие стандартов затрудняет анализ всех величин, полученных при измерениях.

Главная цель оценки эффективности системы применительно к персоналу состоит в том, чтобы удостовериться в его способности выполнять работу в рамках стандартов, связанных с данной системой и ее назначением. Необходимость стандартов — характерная черта процедуры оценивания. Этой проблемы не существует в обычных исследованиях поведения, поскольку проверка частного условия или статуса не является целью исследо' вания.

Стандарты, зафиксированные в официальных документах, выражающих требования к системе, обычно связаны с физическими характеристиками. Например, если требуется оценка нового истребителя, то проверяется, удовлетворяют ли его летные

Оценка эффективности систем

характеристики требованиям к высоте полета, дальности, расходу горючего и т. д. Предполагается, что на данном самолете будут летать только квалифицированные пилоты. Нормативные стандарты эффективности работы в этом случае являются поведенческими, поскольку они были разработаны специально для описания эффективности работы персонала. Требования к системе почти всегда выражаются в физических параметрах потому, что требования к заданию описывают результат ее работы, который всегда описывается физическими величинами.

Поведенческие требования почти всегда подразумеваются. Например, чтобы осуществлять безопасное мя'1еврипо^па-ние, пилот самолета должен иметь достаточный внешний обзор. Ввиду такого характера поведенческих требований с ними обычно не увязываются количественные стандарты. Такие стандарты могут быть только неявными. Их можно вывести двумя способами: 1) опрашивая испытуемых, которые являются профессионалами (например, летчиков), что позволяет описать эти неявные стандарты; 2) с помощью эмпирических данных, описывающих, что делает персонал в системе, аналогичной разрабатываемой.

С теоретической точки зрения стандарты деятельности человека должны быть заданы в описании задачи, однако в описаниях многих задач отсутствуют явные оценки деятельности, несмотря на то что они могут быть выведены с помощью процедуры, применяемой при разработке системы инструктирования (т. 2, гл. 9), к в случае разработки стандартных показателей деятельности рабочего. К тому же многие процедурные задачи имеют двоичные стандарты, для которых диапазон изменений рабочих характеристик (то, чем мы интересуемся при рассмотрении стандартов) сильно ограничен. Для дискретных подзадач и задач (например, при работе с переключателем или при выполнении последовательности действий типа переключений) оператор либо выполняет определенное действие, либо не выполняет его. Здесь не может возникнуть никакого вопроса о качестве работы, поскольку переключатель может работать только одним способом. Если оператор не вводит переключатель в действие, мы просто можем записать, что он совершил ошибку.

Когда стандарт эффективности работы является двоичным, то легко определить, соответствуют или нет действия оператора стандарту. С другой стороны, в таких высокопроцедурных задачах вероятность ошибок обычно очень мала, поскольку оператор редко их делает (если только он не совсем неопытен или если не задается очень высокий темп работы). Следовательно, если ИЧФ не может многократно измерять эффективность работы оператора (например, проводить 100—200 измерений), то в нескольких (относительно малом числе) измерениях, выполняемых в сред-