Оценка эффективности систем 133
деленных административных функций, на борту военных кораблей, возможно, следует обеспечить команду корабля развлекающей программой компьютерных игр. ■При недостаточном стимулировании персонал системы может потерять интерес к тесту, стать неконтактным, проявлять скрытую враждебность путем намеренной выдачи неправильной или неполной информации при опросе или сокрытия своей деятельности от наблюдателя. Хорошо заручиться поддержкой руководителей и персонала системы, привлекая их в качестве участников при планировании и проведении тестов. Кроме того, возможны случаи, когда тестирование осуществляется на действующей системе и внешние обстоятельства резко изменяются (как это бывает на испытаниях многих военных систем), тогда поставленная перед системой задача может внезапно измениться. Пример — военный корабль, мгновенно переключающийся с выполнения учебной задачи иа поиск неизвестного нарушителя. Такое изменение может расстроить тщательно подготовленные планы тестирования. Если есть основания предполагать, что ограничения могут повлиять на эффективность сбора информации и ее объем (например, недостаточно полное тестирование t персонала), ИЧФ должен отобразить их в плане тестирования н предусмотреть возможные средства преодоления. 3.3.8. Анализ информации Схема тестирования должна включать методику статистического анализа данных (разд. 8.0 в табл. 3.1). Если ИЧФ, не имея собственной программы статистической обработки результатов, ждет, пока будут собраны данные, то возможно, что будет собрано слишком много или мало данных либо, что еще более ущербно, большая часть данных будет непригодна из-за несоответствия статистическим требованиям. (В связи с неконтролируемыми событиями методы анализа данных могут быть изменены в последний момент с целью учета этих событий.) В табл. 3.4 указаны данные, доступные для анализа, н применяемые методы анализа. Табл. 3.5 дополняет табл. 3.4 перечнем этапов процесса обработки данных. Существуют следующие типы данных (не каждый тест позволяет получить каждый тип даииых): 1. Описательная информация — описание того, что происходит в действительности по сравнению со сценарием выполнения задания. 2. Информация об ошибках (природа ошибок, кто их совершает, на каком этапе выполнения задания, влияние ошибки). Таблица 3.4. Общие характеристики анализа результато0 тестирования системы |38] Анализ по конечной цели 1. Частота и степень выполнения задачи с точки зрения: а) общего назначения системы, б) сравнения этапов разработки,. в; целевых критериев (например, величина отклонения от цели), г; времени выполнения задачи, д) затрат ресурсов (горючее и т. п.). 2. Оценки надежности системы с точки зрения соотношения удачно и неудачно выполненных задач: а) оценка реальной надежности, б) сравнение реальной надежности с предполагаемой или необходимой. 3. Анализ частоты, типа н степени опасности отказов, происходящих при выполнении задачи: а) отказы оборудования, б) ошнбкн н/илн затруднения персонала, в) временные расхождения. Анализ оборудования 1. Определение надежности оборудования подсистем: й) средний промежуток времени между отказами для основных компонентов оборудования, 0J сравнение минимально приемлемого уровня надежности для каждого элемента системы с его реальной надежностью. 2. Определение природы, частоты н влияния отказов оборудования. Анализ по элементам поведения 1. Частота и доля (%) задач, выполненных персоналом: а; доля (%) времени, в течение которого оператор илн группа правильно отслеживают цель, б) доля (%) времени, в течение которого оператор или группа правильно ооиаружнвает сигналы н идентифицирует стимулы, в; соотношение успешно выполненных задач и попыток выполнить задачу (реальная надежность), г; вероятность выполнения задачи (индекс надежности человека): I) на языке времени, необходимого для выполнения задачи, U) на языке времени реагирования на инициирующий стимул. 2. Частота, доля (%), величина и классификация анализируемых ошибок человека: а) по задаче и стадии задачи, 0) по позиции оператора, в) по влиянию ошибки на задачу, г) в аварийных условиях, д) как отказов, причиной которых явился человек, е) по вероятности возникновения ошибки, ж) по работающему оборудованию. 3. Сравнение стадий реализации задачи на языке: а) частоты и типа ошибок человека, б) влияния ошибки. 4. Сравнение задач: а) требуемая и реальная продолжительность, б) требуемое и реальное время реагирования, в) другие сравнения требований с их реальным выполнением. Оценка эффективности систем Продолжение Анализ по характеристикам системы 1. Частота и классификация неполадок в системе: а) ошибки коммуникационного характера, б) отсутствие требуемых элементов системы: I) основное оборудование, оборудование для тестирования, вспомогательные измерительные и программные средства, запасные части, II) персонал, III) технические характеристики, в) перебои в снабжении, г) несоогветствие технических характеристик 2. Оценки оперативности (см. анализ поведения). 3. Оценки эксплуатационных возможностей системы (в целом и по элементам задачи): а) время простоя оборудования, б) количество и длительность задержек выполнения задачи по причинам, не связанным с техническим обслуживанием, в) объем профилактического технического обслуживания. 3. Время начала и конца выполнения задачи, время реагирования (где необходимо), длительность циклов, чрезмерные задержки деятельности. 4. Задачи, завершенные удачно и неудачно, а также прерванные; влияние неверного выполнения или невыполнения задачи; показания приборов, отражающие выполнение методик (например, текущие значения параметров, заголовки процедур). 5. Регистрация разговоров (телефонных). 6. Данные об обеспечении (документация, например, об израсходованном горючем или боеприпасах, количестве самолетовылетов, снарядов, контейнеров или отправленных вагонах). 7. Данные самоотчета (интервью, опросники, рейтинги): встречающиеся затруднения и их причины, отношение к характеристикам системы и работе на ней, оценки утомляемости или рабочей нагрузки, контрольные оценки оборудования. В табл. 3.5 указаны три категории анализа информации: 1. Проверочный анализ. Сравнением деятельности персонала с требованиями системы или стандартной деятельностью устанавливается возможность персонала выполнить требуемые задачи эффективно (общие цели тестирования, разд. 1.1 в табл. 3.1). Относительно немногие методики анализа информации включают этот вид сравнения, поскольку перед тестированием уточняются немногие требования к деятельности персонала; ИЧФ должны стараться сформулировать эти требования и стандарты деятельности. Как отмечалось в разд. 4.0 табл. 3.1, многие требования к персоналу только подразумеваются (например, оператору следует знать, что он должен работать без чрезмерной рабочей нагрузки, хотя в документах это не зафиксировано). Основой для Таблица 3.5. Этапы оценки поведенческих данных (38J
|
