ОЦЕНКА ЭФФЕКТИВНОСТИ СИСТЕМ

Д. Мейстер¹⁾

3.1. Введение и обзор

Оценка эффективности системы заключается в ее испытаниях и оценке (И и О) с точки зрения человеческих факторов (ЧФ). Мы не будем рассматривать вопросы тестирования персонала, работающего с гражданскими (не военными) системами, поскольку у нас нет соответствующих критериев и данных. Следовательно, данная глава почти полностью относится к тестированию военных систем в процессе их разработки и эксплуатации. Однако, как указывалось в гл. 2 в связи с общими принципами разработки систем, многое из того, что излагается в данной главе, применимо и к оценке гражданских систем, поскольку при тестировании принимаются единые требования к характеристикам и конструкции конкретной системы. Однако оценка военных систем — дело более ответственное, чем проверка гражданских систем.

Требования по ЧФ в И и О к военным системам зафиксированы в инструкции MIL-H-46855B (Министерство обороны США, 1979). Разд. 3.2.3 этой инструкции «Инженерная психология или тестирование и оценка» разбит на три подраздела — планирование, реализация и анализ отказов. Целями ЧФ, И и О являются 1) выполнение этих требований; 2) демонстрация согласованности систем, оборудования и другой аппаратуры с критериями проектирования систем человек — машина; 3) проверка согласованности с требованиями к эффективности работы в случаях, когда показатель эффективности системы — эффективность человека-оператора; 4) необходимые количественные измерения рабочих характеристик системы, которые зависят от взаимодействия человека и машины; 5) поиск нежелательных конструктивных отклонений или нежелательных процедур.

В той части разд. 3.2.3, которая посвящена планированию, подчеркивается необходимость своевременного проведения женки. Если не составлено правильного расписания ЧФ-тестов, то они могут оказаться малополезными для проектировщика.

¹¹ D. Meister, U. S. Navy Personnel Research and Development Center. $ap Diego. California.

________ Оценка эффективности cfrctei»105

Важно показать, что результаты оценки могут быть должным образом учтены при проектировании. К сожалению, часто ЧФ-тесты играют роль формальной процедуры для того, чтобы документально зафиксировать соблюдение требований, оговоренных контрактом [22].

В части разд. 3.2.3, посвященной реализации, определяется, что ЧФ-тесты включают моделирование или реальное проведение рабочих операций; тестирование задач, участие человека в которых является решающим по сравнению с другими факторами (такими, как скорость, точность, надежность или стоимость); представительную выборку штатных и нештатных задач по обслуживанию; предложенные вспомогательные рабочие средства, аппаратуру для тренировки и т.д.; использование персонала, г?редставляющего все разновидности пользователей; сбор данных по решению задач; идентификацию рассогласований между требуемым и фактическим решением данной задачи; критерии приемлемости выполнения данной задачи. Предполагается также проведение анализа отказов аппаратуры, происходящих во время проверок; его цель — определение того, являются ли trr-казы следствием ошибок человека-оператора.

В этой главе рассматриваются вопросы тестирования, проводимого при следующих условиях: 1) использование макета для тестирования деятельности оператора; 2) проверка прототипов системы в условиях, приближенных к реальным; 3) проверка действующих систем в реальных условиях [проверки 2 и 3 называют рабочими испытаниями (РИ)]; 4) измерение деятельности оператора на тренажерах (имитаторах) оборудования и системы.

Краткое обсуждение макетов представлено в гл. 2. Измерение деятельности с помощью тренажеров — разновидность РИ, имеющая, однако, некоторые особенности. В данной главе речь в основном будет идти об РИ, потому что при использовании макетов возможно лишь ограниченное тестирование и многие показатели РИ применимы и в случае тестирования на тренажерах.

Поскольку оценка эффективности систем связана с процессом разработки системы, то предварительно следует прочитать гл. 2. Для ранней стадии разработки системы характерно использование макетов (особенно статических); перед тем как система передается в производство, проводится РИ ее прототипа. В это же время проводятся и испытания на тренажерах, поскольку ввиду высокой стоимости тренажеры не строятся до того момента, пока точно не определена конфигурация системы. Такие испытания рассматриваются как заключительная фаза разработки системы. На рис. 3.1 дана схема оценки эффективности систем в зависимости от стадии разработки.

106 Глава 3

Стадии разработки	Системное Предварите/ttr Подробное Изготовление и Работа с планирование ноепроек- проек- размещение системой /парование тированае
	Испытания макета
	Испытания на этапе разработки, и конструирования
	Испытания работоспособности (на прототипе системы)
	Испытания на имитаторе и (am) реальной системе

Рис. 3.1. Последовательность испытаний при оценке эффективности системы.

Читатель может заметить, что до сих пор не упоминалось об испытаниях технического оборудования на стадии разработки. Как уже отмечалось в гл. 2, эти испытания являются главным образом аппаратурно-ориентированными (например, нераз-рушающие испытания надежности) и предоставляют мало возможностей инженеру по человеческим факторам (ИЧФ) для измерения поведенческих характеристик.

Тестирование деятельности персонала обычно проводится в следующих четырех контекстах: 1) инженерные разработки для макетирования, 2) испытания прототипа, 3) тренировочные имитаторы [в большинстве своем тренажеры разрабатываются для тренировки, однако некоторые из них были построены специально для исследовательских целей; пример — усовершенствованный тренажер для обучения летчиков (ASUPT) на базе ВВС Вильяме в шт. Аризона], 4) испытание действующей системы в реальных условиях. Из всех этих условий тестирования ИЧФ, вероятно, больше имеет дело с макетами и прототипами, однако многое зависит от той конкретной работы, которую он выполняет.

Мы часто будем пользоваться термином «система», поскольку система — второй (после человека-оператора) по значению объект при тестировании деятельности. Система — это совокупность людей, которые работают на том или ином оборудовании и поддерживают его в рабочем состоянии. Более подробно особенности систем описываются в гл. 2.

3.2. Четыре условия испытаний

Взяв в качестве критерия работающую систему (поскольку она — конечный результат всех предыдущих процессов разработки), можно поставить макет, прототип и имитатор в разные рабочие условия. Если оценивать схрдствр с работающей