Студопедия — Оценка эффективности систем 133
Студопедия Главная Случайная страница Обратная связь

Разделы: Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

Оценка эффективности систем 133






деленных административных функций, на борту военных кораблей, возможно, следует обеспечить команду корабля развлекающей программой компьютерных игр.

■При недостаточном стимулировании персонал системы может потерять интерес к тесту, стать неконтактным, проявлять скрытую враждебность путем намеренной выдачи неправильной или неполной информации при опросе или сокрытия своей деятельности от наблюдателя. Хорошо заручиться поддержкой руководителей и персонала системы, привлекая их в качестве участников при планировании и проведении тестов. Кроме того, возможны случаи, когда тестирование осуществляется на действующей системе и внешние обстоятельства резко изменяются (как это бывает на испытаниях многих военных систем), тогда поставленная перед системой задача может внезапно измениться. Пример — военный корабль, мгновенно переключающийся с выполнения учебной задачи иа поиск неизвестного нарушителя. Такое изменение может расстроить тщательно подготовленные планы тестирования.

Если есть основания предполагать, что ограничения могут повлиять на эффективность сбора информации и ее объем (например, недостаточно полное тестирование t персонала), ИЧФ должен отобразить их в плане тестирования н предусмотреть возможные средства преодоления.

3.3.8. Анализ информации

Схема тестирования должна включать методику статистического анализа данных (разд. 8.0 в табл. 3.1). Если ИЧФ, не имея собственной программы статистической обработки результатов, ждет, пока будут собраны данные, то возможно, что будет собрано слишком много или мало данных либо, что еще более ущербно, большая часть данных будет непригодна из-за несоответствия статистическим требованиям. (В связи с неконтролируемыми событиями методы анализа данных могут быть изменены в последний момент с целью учета этих событий.)

В табл. 3.4 указаны данные, доступные для анализа, н применяемые методы анализа. Табл. 3.5 дополняет табл. 3.4 перечнем этапов процесса обработки данных.

Существуют следующие типы данных (не каждый тест позволяет получить каждый тип даииых):

1. Описательная информация — описание того, что происходит в действительности по сравнению со сценарием выполнения задания.

2. Информация об ошибках (природа ошибок, кто их совершает, на каком этапе выполнения задания, влияние ошибки).

Таблица 3.4. Общие характеристики анализа результато0 тестирования системы |38]

Анализ по конечной цели

1. Частота и степень выполнения задачи с точки зрения:

а) общего назначения системы,

б) сравнения этапов разработки,.

в; целевых критериев (например, величина отклонения от цели),

г; времени выполнения задачи,

д) затрат ресурсов (горючее и т. п.).

2. Оценки надежности системы с точки зрения соотношения удачно и неудачно выполненных задач:

а) оценка реальной надежности, б) сравнение реальной надежности с предполагаемой или необходимой.

3. Анализ частоты, типа н степени опасности отказов, происходящих при выполнении задачи:

а) отказы оборудования,

б) ошнбкн н/илн затруднения персонала,

в) временные расхождения.

Анализ оборудования

1. Определение надежности оборудования подсистем:

й) средний промежуток времени между отказами для основных компонентов оборудования,

0J сравнение минимально приемлемого уровня надежности для каждого элемента системы с его реальной надежностью.

2. Определение природы, частоты н влияния отказов оборудования.

Анализ по элементам поведения

1. Частота и доля (%) задач, выполненных персоналом:

а; доля (%) времени, в течение которого оператор илн группа правильно отслеживают цель,

б) доля (%) времени, в течение которого оператор или группа правильно ооиаружнвает сигналы н идентифицирует стимулы,

в; соотношение успешно выполненных задач и попыток выполнить задачу (реальная надежность),

г; вероятность выполнения задачи (индекс надежности человека): I) на языке времени, необходимого для выполнения задачи, U) на языке времени реагирования на инициирующий стимул.

2. Частота, доля (%), величина и классификация анализируемых ошибок человека:

а) по задаче и стадии задачи, 0) по позиции оператора,

в) по влиянию ошибки на задачу,

г) в аварийных условиях,

д) как отказов, причиной которых явился человек,

е) по вероятности возникновения ошибки,

ж) по работающему оборудованию.

3. Сравнение стадий реализации задачи на языке:

а) частоты и типа ошибок человека,

б) влияния ошибки.

4. Сравнение задач:

а) требуемая и реальная продолжительность,

б) требуемое и реальное время реагирования,

в) другие сравнения требований с их реальным выполнением.

Оценка эффективности систем

Продолжение

Анализ по характеристикам системы

1. Частота и классификация неполадок в системе:

а) ошибки коммуникационного характера,

б) отсутствие требуемых элементов системы:

I) основное оборудование, оборудование для тестирования, вспомогательные измерительные и программные средства, запасные части,

II) персонал,

III) технические характеристики,

в) перебои в снабжении,

г) несоогветствие технических характеристик

2. Оценки оперативности (см. анализ поведения).

3. Оценки эксплуатационных возможностей системы (в целом и по элементам задачи):

а) время простоя оборудования,

б) количество и длительность задержек выполнения задачи по причинам, не связанным с техническим обслуживанием,

в) объем профилактического технического обслуживания.

3. Время начала и конца выполнения задачи, время реагирования (где необходимо), длительность циклов, чрезмерные задержки деятельности.

4. Задачи, завершенные удачно и неудачно, а также прерванные; влияние неверного выполнения или невыполнения задачи; показания приборов, отражающие выполнение методик (например, текущие значения параметров, заголовки процедур).

5. Регистрация разговоров (телефонных).

6. Данные об обеспечении (документация, например, об израсходованном горючем или боеприпасах, количестве самолетовылетов, снарядов, контейнеров или отправленных вагонах).

7. Данные самоотчета (интервью, опросники, рейтинги): встречающиеся затруднения и их причины, отношение к характеристикам системы и работе на ней, оценки утомляемости или рабочей нагрузки, контрольные оценки оборудования.

В табл. 3.5 указаны три категории анализа информации: 1. Проверочный анализ. Сравнением деятельности персонала с требованиями системы или стандартной деятельностью устанавливается возможность персонала выполнить требуемые задачи эффективно (общие цели тестирования, разд. 1.1 в табл. 3.1). Относительно немногие методики анализа информации включают этот вид сравнения, поскольку перед тестированием уточняются немногие требования к деятельности персонала; ИЧФ должны стараться сформулировать эти требования и стандарты деятельности.

Как отмечалось в разд. 4.0 табл. 3.1, многие требования к персоналу только подразумеваются (например, оператору следует знать, что он должен работать без чрезмерной рабочей нагрузки, хотя в документах это не зафиксировано). Основой для

Таблица 3.5. Этапы оценки поведенческих данных (38J

Анализ Критериальные методы
1. а) Определение частоты и доли успешно завершенных задач, б) Определение вероятностей успешного завершения выполняемых задач. 2. Определение влияния невыполнения задачи на деятельность с точки зрения: а) последующей задачи, б) других элементов системы, в) выполнения задачи в целом, ее этапов и частей. 3. а) Определение длительности вы- полнения задач, б) Определение задач, выполнение которых было значительно задержано. 4. Контроль соблюдения требований к времени реагирования. 5. Определение влияния длительности выполнения задачи и задержек реагирования на: а) последующие задачи, б) другие элементы системы, в) задачу в целом, ее части и этапы. 6. Определение частоты совершения ошибок и их типа: а) в различных типах задач и функциях, б) в последующих испытаниях системы. 7. Определение влияния ошибок иа: а) задачу, в которой совершается ошибка, б) последующие задачи, в) другие элементы системы, г) задание и целом, его части н этапы. 1. а) Изучение задач с точки зрения выходных данных, б) Определение причин отказов; исключение задач, невыполнение которых связано с отказами оборудования; применение теории вероятности. 2. а) Изучение взаимосвязанных пар задач; установление соответствующих взаимозависимостей, б) Определение задач, которые представляют серьезные трудности. 3. а) Определение критериев мини- мального времени выполнения задач, б) Сравнение с реальным временем вылолнеиня. 4. а) Определение требований зада- чи к времени реагирования. б) Сравнение с реальным временем выполнения. в) Выявление человеческих факторов, влекущих за собой отказы по времени реагирования. 5. Идентификация задач, выполнение которых влечет за собой задержки в работе системы. 6. а) Выявление ошибок, связанных с человеческими факторами, б) Оценка вероятности повторения ошибок. 7. Установление значимости специфических ошибок для завершения задачи.






Дата добавления: 2015-06-15; просмотров: 366. Нарушение авторских прав; Мы поможем в написании вашей работы!



Композиция из абстрактных геометрических фигур Данная композиция состоит из линий, штриховки, абстрактных геометрических форм...

Важнейшие способы обработки и анализа рядов динамики Не во всех случаях эмпирические данные рядов динамики позволяют определить тенденцию изменения явления во времени...

ТЕОРЕТИЧЕСКАЯ МЕХАНИКА Статика является частью теоретической механики, изучающей условия, при ко­торых тело находится под действием заданной системы сил...

Теория усилителей. Схема Основная масса современных аналоговых и аналого-цифровых электронных устройств выполняется на специализированных микросхемах...

Сосудистый шов (ручной Карреля, механический шов). Операции при ранениях крупных сосудов 1912 г., Каррель – впервые предложил методику сосудистого шва. Сосудистый шов применяется для восстановления магистрального кровотока при лечении...

Трамадол (Маброн, Плазадол, Трамал, Трамалин) Групповая принадлежность · Наркотический анальгетик со смешанным механизмом действия, агонист опиоидных рецепторов...

Мелоксикам (Мовалис) Групповая принадлежность · Нестероидное противовоспалительное средство, преимущественно селективный обратимый ингибитор циклооксигеназы (ЦОГ-2)...

Классификация потерь населения в очагах поражения в военное время Ядерное, химическое и бактериологическое (биологическое) оружие является оружием массового поражения...

Факторы, влияющие на степень электролитической диссоциации Степень диссоциации зависит от природы электролита и растворителя, концентрации раствора, температуры, присутствия одноименного иона и других факторов...

Йодометрия. Характеристика метода Метод йодометрии основан на ОВ-реакциях, связанных с превращением I2 в ионы I- и обратно...

Studopedia.info - Студопедия - 2014-2024 год . (0.01 сек.) русская версия | украинская версия