Глава 3. ней тестовой программе, ИЧФ может и не наблюдать ошибок вовсе

ней тестовой программе, ИЧФ может и не наблюдать ошибок вовсе.

Если задача является не процедурной и может решаться разными способами, что дает большое разнообразие данных, то необходимость выведения стандартов деятельности возрастает, однако само выведение стандартов становится более трудным. Индекс приемлемой деятельности вывести труднее, чем двоичный стандарт; этот индекс может быть записан только качественно и часто является результатом оценивания. Если качество работы оценивается тоже качественно (например, качество голоса певца), то лишь некоторые весьма опытные специалисты способны проводить такую оценку.

С точки зрения теории стандарты для любой задачи можно вывести с помощью дедуктивной логики из анализа функции и задачи по требованиям к исходной системе и ее назначению. Однако путь, связывающий стандарт в отдельной задаче и требования к системе, может быть слишком длинным и запутанным, чтобы установить такую связь.

Если стандарты деятельности человека отсутствуют, то невозможно при тестировании проверить эту деятельность, за исключением ограниченных способов, прячем только если назначение данной системы вполне оправдывается и не отмечено никаких сбоев в работе оператора. В таком случае можно предположить, что персонал способен адекватно выполнять свою работу (однако строго доказать это нельзя). Гир [22, с. 29] рекомендует использовать оценки опытного эксперта как основу «использования таких определений, как точность тестирования, умение персонала, уровень обученности персонала и т. д.» Он стмечает, что «трудно во время испытаний оценивать эти качества каким-либо другим способом».

Для ИЧФ такая ситуация нежелательна, хотя большинство руководителей испытаний она удовлетворяет. Если отсутствуют объективные стандарты, оценка эффективности работы становится по сути только контекстом, в котором проявляется неадекватность работы человека, хотя с точки зрения разработки важно исправление этих негативных явлений.

Определение точных количественных стандартов представляет ряд трудностей. Поскольку в конечном счете стандарт — это субъективная оценка, целесообразно при выводе конкретных количественных стандартов использовать испытуемых, которые являются специалистами своего дела. Это можно сделать неформально с помощью интервью или более строго с помощью какого-нибудь метода психометрического оценивания.

Однако даже в том случае, когда имеется система-прототип, трудно уговорить обученный персонал системы выработать точные стандарт' деятельности. Часто можно слышать ответ, что

________ Оценка эффектбнист» систем121

это, мол, зависит от чего угодно, отражающий уверенность персонала в том, что деятельность зависит от очень большого количества взаимодействующих факторов, не позволяющих строго регламентировать ее эффективность.

Отсутствие стандартов деятельности не означает, что ИЧФ не может использовать данные тестирования для определения того, насколько хорошо справляется персонал со своими обязанностями. ИЧФ должен, однако, стремиться заменять вторичные способы, не включающие сопоставление эмпирических данных, на объективные стандарты. Например, можно заменить инспекционные рейтинги при оценке деятельности персонала на неинспекционные.

Более того, даже если полученные данные о деятельности персонала неоднозначны, их можно использовать. Например, в ситуации, когда данные о деятельности сильно отличаются от того, что может ожидать ИЧФ на основе предварительных тестов, допустимо предположить, что в предварительных расчетах была ошибка и данный вопрос следует внимательно проанализировать. Если во время тестирования испытуемый указывает на трудности, с которыми он столкнулся в ходе работы, то именно их рекомендуется подвергнуть дополнительному изучению.

Критерии. Прежде чем разрабатывать стандарты, нужно иметь критерии, которые являются свойствами или характеристиками системы. Различие между этими двумя понятиями — в степени их конкретности; например, главный критерий для оператора при обнаружении самолета — дальность обнаружения; стандарт может равняться 5,6 км. Ясно, что дальность обнаружения как более общий критерий предшествует стандарту, который конкретизирует и более точно определяет критерий количественно.

Имеются три разных вида критериев деятельности, которые описывают: 1) функционирование системы; 2) то, как выполняется задание; 3) то, как реагирует персонал. Критерии, описывающие систему, включают такие свойства, как надежность, ремонтопригодность, степень защищенности и стоимость обслуживания. Критерии, описывающие задание, включают эффективность его выполнения, качество и точность результатов, длительность работы, время реакции, отказы и задержки.

В каждой из этих характеристик содержатся элементы, связанные с персоналом, которые должны быть отделены от элементов, не связанных с персоналом. С другой стороны, в критериях, связанных с эффективностью работы персонала и описывающих реакции оператора и экипажа (время реакции, точность, число ответов, согласованность ответов, скорость и т. д.),

122 Глава 3

отсутствует смысл, если только они не рассматриваются в связи с критериями системы и ее назначения.

Рабочие критерии могут действовать как независимые или зависимые переменные. В качестве независимых переменных (например, в случае требования произвести N единиц) они накладывают на деятельность оператора такое требование, которое выступает в качестве задающей функции (он должен произвести N единиц). В качестве зависимых переменных критерии описывают деятельность оператора (т. е. данный оператор обеспечивает Л/,,V--1 или Л'-|-1 единиц). Эти переменные могут использоваться для оценки деятельности. Именно последний случай рассматривается здесь.

При оценивании деятельности данный критерий предполагает наличие стандарта деятельности, который позволяет выполнить задание с помощью данной системы. Вообще говоря, в исследованиях измерений критерии также необходимы (как зависимые переменные), однако они не требуют стандартов. В оценочных измерениях критерий в отсутствие стандартов становится бессмысленным понятием (когда в качестве критерия используется, например, эффективность), поскольку он не обеспечивает средств оценки качества работы персонала. Так, например, число запросов информации является критерием, который может использоваться в исследованиях деятельности операторов на телефонной станции, однако для оценки этой деятельности необходимо перед измерением определить минимальное число запросов, которое может быть реализовано в заданный период времени.

Критерий должен быть точным и количественным. Некоторые критерии (например, критерии, иногда встречаемые в технических описаниях систем: «...данная система так сконструирована, что персонал будет выполнять свои обязанности с минимальными затратами усилий») бессмысленны, поскольку количественно не определены, в результате чего их можно понимать как угодно. Неопределенные критерии следует стремиться переводить в конкретную форму; до тех пор, пока они не выражены письменно, почти невозможно передать их значение остальным.

Не все критерии одинаково существенны и ценны для измерения рабочих характеристик. Уровень адреналина в крови испытуемого, который выполняет задачу зрительного слежения, может быть связан с фактом обнаружения цели, однако уровень адреналина — это не самый лучший критерий оценки обнаружения с помощью сонара, поскольку он только косвенно связан с результатом. ИЧФ должен изучить имеющиеся критерии, выбрать те из них, которые наиболее адекватны рассматриваемой деятельности. Адекватность и важность потенциального критерия могут быть определены путем выяснения влияния на

Оценка эффективности систем

эффективность работы системы невозможности достичь его. Если связь критерия с результатом работы системы является слабой, то данный критерий нельзя считать удовлетворительным.

Предпочтительнее пользоваться объективными критериями, поскольку рабочие характеристики, описываемые ими, наблюдаются и регистрируются просто и непосредственно, без интерпретации ИЧФ. К сожалению, многие критерии не доступны таким тестам. Некоторые характеристики (главным образом перцептивные и когнитивные) по своей сути являются субъективными. Например, в настоящее время невозможно с помощью приборов измерить качество решений, принимаемых в боевой ситуации. Те признаки, которые необходимы для описания качества, могут быть настолько неявными, что только специалист может их воспринимать. Если мы имеем качественные критерии, то должны обращаться к эксперту, поскольку только у него есть необходимый опыт по распознаванию нужных рабочих характеристик. Однако использование эксперта для оценивания имеет свои недостатки. Например, если у данного специалиста имеется какая-то неявная склонность, о которой он не знает, то это может привести к ошибке. Мы можем вывести некоторое заключение, которое основано на его оценках, однако уровень значимости такого заключения будет невысоким, поскольку, не будучи экспертами, мы не сможем быть такими же уверенными в своих рассуждениях, как сам эксперт.

Сложные системы могут иметь множественные критерии, поскольку их персонал должен выполнять разнообразные функции. Если это так, то следует использовать все критерии (предполагая, что все они сильно связаны с результатом работы системы). ИЧФ не должен произвольно выбирать тот или иной критерий (особенно не post facto), даже если попадает в затруднительное положение. Например, тогда, когда он получает серию результатов по одному критерию (скажем, когда персонал выполняет работу эффективно), а другую серию результатов— по другому критерию (например, когда персонал выполняет свою работу малоэффективно).

Критерии взаимодействуют с организационной структурой системы. По мере того как фокус деятельности смещается от отдельного оператора к группе или от подсистем к системе, критерии могут измениться. Например, измеряя поведение группы операторов, следует рассматривать взаимодействие членов группы, т. е. фактор, который, очевидно, является несущественным для оператора, работающего индивидуально.

Показатели. При отсутствии критериев в системе не слишком большого размера количество измеримых выходных харак-

Таблица 3.3. Показатели деятельности оператора [.46]

Время

1. Время реакции, т. е. время

а) до восприятия события,

б) до начала движения,

в) до начала коррекции,

г) до начала действия после завершения предыдущего действия,

д) обнаружения тенденции в множестве связанных событий.

2. Время завершения некоторого действия, т. е. время

а) опознания стимула (время различения),

б) завершения сообщения, решения, коррекции органа управления,

в) достижения величины критерия.

3. Общее время (длительность):

а) потраченное на действие,

б) доля (%) времени захвата цели.

4. Разделение времени между событиями.

Точность

1. Правильность наблюдения, т. е. точность прн

а) опознании стимулов внутри системы,

б) опознании стимулов вне системы,

в) оценке расстояния, направления, скорости н времени,

г) обнаружении и изменении стимулов во времени,

д) обнаружении тенденции по множеству связанных событий,

е) распознавании сигнала в шуме,

ж) распознавании превышения отклонения от допустимого.

2. Правильность реакции — результата, т. е. точность при

а) установке органа управления или использовании инструмента,

б) считывании информации с индикатора,

в) нспользоваини символов, принятии решений и вычислениях,

г) реакции выбора между альтернативами,

д) последовательном ответе,

е) прослеживании,

ж) обмене информацией.

3. Характеристики ошибки:

а) амплитудные меры,

б) частотные меры,

в) анализ содержания,

г) нзмененне во времени.

Частота событий

1. Число ответов на единицу времени, действие нлн интервал наблюдения при:

а) управлении н манипуляции,

б) обмене информацией,

в) взаимодействии персонала,

г) диагностических проверках.

2. Число результатов деятельности в расчете иа действие, единицу времени или интервал наблюдения:

а) число ошибок,

б) число выходов за допустимые пределы.

3. Число ответов при наблюдении нлн сборе данных:

а) наблюдения,

б) вербальные илн письменные отчеты,

в) запросы информации.

Оценка эффективности систем

Продолжение

Достигнутое количество

1. Амплитуда ответа или достигнутое количество:

а) степень успешности,

б) доля (%) успешных действий,

в) показатели достигнутой надежности (численные оценки надежности),

г) показатели достнжнмон ремонтопригодности,

д) частота отказов оборудования (среднее время между отказами),

е) суммарный ответ,

ж) тестовые показатели профпригодности (записанные).

2. Достигнутая величина:

а) окончательная или установившаяся (например, максимум температуры),

б) изменение величины нлн частоты (например, изменение температуры (°С) за 1 ч).

Расход или используемое количество 1. Расход ресурсов на деятельность:

а) сохранение горючего и энергии,

б) число единиц, израсходованных иа выполнение деятельности, 2. Расход ресурсов во времени:

а) быстрота расхода.

Физиологическое состояние и поведение 1. Условия для оператора и экипажа:

а) физиологические,

б) поведенческие.

Категоризация поведения наблюдателями

1. Суждения о деятельности оператора:

а) оценка адекватности выполнения оператором нли экипажем своей задачи,

б) оценка адекватности сегмента задачи нли задания,

в) оценка количества (степени) внешневыраженного поведения,

г) анализ поведенческих характеристик оператора нлн экипажа,

д) определение правильности поведения:

1) упущения в правильном поведении, II) случаи неправильного поведения,

е) описание причины выхода за пределы допуска.

2. Субъективные отчеты:

а) анализ содержания интервью,

б) самоотчет,

в) оценки со стороны равноправных членов группы, самооценка или оценка контролера.

теристик может поставить ИЧФ в тупик, поскольку нет оснований для отбора. Различные показатели деятельности представлены в табл. 3.3. Данный критерий позволяет ИЧФ выбрать подмножество всех выходных характеристик (показателей). На уровне отдельного оборудования ситуация не очень плохая, однако в случае тестирования всей подсистемы или системы число измерений может оказаться чрезмерно большим. Например, авторы работы [50] составили более 800 показателей для боевого вертолета, выполняющего обычное маневрирование.

126 Глава 3

Одиночный критерий, например эффективность устранения неисправностей, может иметь ряд показателей, один из которых связан с экономией времени, которое требуется для ремонта вышедшей из строя аппаратуры и приведения ее в рабочее состояние. Однако возможны и другие показатели (число правильно установленных неисправностей аппаратуры, число выполненных проверок или быстрота диагностики повреждений аппаратуры).

Все показатели, как и все критерии, неодинаково полезны при описании деятельности, поскольку некоторые из них только косвенно связаны с поведением. В пределах тех ресурсов, которыми обладает ИЧФ, если можно предполагать наличие заметной связи между показателем и производительностью системы, он должен регистрировать все непрямые, равно как и прямые адекватные показатели.

При переводе критерия в показатель ИЧФ проверяют, что делает оператор. Например, если оператор при погрузке должен передвигать коробки из загрузочного бункера в приемное отделение склада, то число коробок, передвинутое за 1 ч, — очень хороший показатель эффективности его работы.

Можно использовать окончательные (результаты деятельности оператора) или промежуточные (деятельность оператора, направленная на получение конечного результата) показатели работы оператора. Промежуточные показатели более подробны, чем результирующие. Чтобы измерить эффективность стрельбы из винтовки, можно регистрировать тремор пальца при нажимании на курок (промежуточный показатель) или подсчитывать число поражений целей (результирующий показатель). Результирующие показатели более ценны, чем промежуточные, поскольку эксперт, оценивающий систему, больше интересуется конечными результатами. Промежуточные показатели полезны для диагностики неадекватностей работы оператора. Если результат работы системы связан с точностью стрельбы из винтовки, то такие высокоточные показатели, как давление на курок, менее полезны, чем число попаданий, поскольку давление на курок связано с точностью стрельбы косвенно, в отличие от числа попаданий. С другой стороны, причиной того, что новичку не удается поразить цель, может быть именно то, что он неправильно нажимает на спуск.

Конкретные показатели определяют то, как собираются данные. Например, для измерения давления на спуск требуется специальная аппаратура.

Разработка разумных показателей деятельности затрудняется, если задачи, решаемые системой, взаимосвязаны. Показатели для вторичной или зависимых задач могут меньше подходить для системы и бцть меньше связанными с конечным ре-

Оценка эффективности систем

зультатом. Прежде чем принимать или отвергать некоторый показатель, необходимо установить взаимозависимости между задачами.

Еще одна сложность заключается в том, что наиболее привычные объективные показатели — время и ошибки — сравнительно просто измерить, но труднее придать им определенный смысл. Если время ответа или реакции не является для данной задачи критическим параметром, в качестве показателя оно имеет мало смысла. Только если интервал измерения будет чрезмерно продлен, это повлияет на результат работы системы. Малые колебания продолжительности выполнения действий мало что позволяют выявить. Ошибки могут служить показателями качества деятельности оператора, но только в том случае, если они оказывают заметное влияние на работу системы. У хорошо обученного персонала существенных ошибок может быть так мало, что сборщики данных будут испытывать значительные затруднения при наблюдении за его работой.

Если анализируемые задачи являются познавательными (это все чаще и чаще встречается в наши дни) или значимые параметры рабочей деятельности столь сложны, что лишь специалист может их расшифровать, то ИЧФ при измерениях сталкивается с трудностями.

Тот факт, что обычные параметры ответа (например, время и ошибки) не сильно различаются для разных задач, заставляет выбирать для измерения критические задачи (для которых различия времени реакции и числа ошибок значительны).

Если имеется несколько показателей, то при прочих равных условиях ИЧФ должен выбрать те, которые 1) четко связаны с результатом измеряемой деятельности; 2) являются объективными; 3) являются количественными; 4) не слишком бросаются в глаза; 5) которые легко собрать; 6) не требуют специальных методик сбора данных; 7) не являются чрезмерно детальными и потому не требуют специализированого оборудования; 8) не являются очень дорогими как в смысле денежных затрат, так и в смысле усилий по сбору данных. Всем этим критериям удовлетворяет не так уж много показателей.

Причина внимания к критериям, показателям и стандартам — то обстоятельство, что если в процессе планирования не рассмотреть их тщательнейшим образом, то при тестировании будет упущено много полезной информации, а многие данные нельзя будет интерпретировать.

Процесс отбора критериев, показателей и стандартов сложнее, чем представляют себе многие ИЧФ. Часто ИЧФ выбирает критерии, показатели и стандарты, не анализируя их связь с результатами работы системы, т. е. их реальную значимость.

Ш Глава 3

3.3.5. Сбор данных

В разд. 5.0 табл. 3.1 есть указания на то, кто будет собирать данные и как это надо делать. В разд. 8.0 этой таблицы («Анализ данных») описывается, как будут анализироваться эти данные. Естественно, что соображения, связанные с анализом данных, в известной степени определяют то, какие данные нужно собирать и как это следует делать.

Чтобы обеспечить успех дела, ИЧФ должен разработать определенный сценарий измерения деятельности, который должен как можно детальнее описывать собираемые данные, а также способ их сбора.

Конкретные методы сбора данных зависят от разработанных критериев и мер. Не следует выбирать тот или иной метод сбора данных до того, как определены критерии и меры. Руководители испытаний военных систем предпочитают наиболее простые методы частично из-за их меньшей стоимости, а также потому, что неспециалист лучше разбирается в интервью, анкетах и оценках при шкалировании, чем в аппаратуре.

Когда испытания проводятся в полевых условиях (например, на борту корабля), методы сбора данных о поведении не могут быть слишком сложными, поскольку в полевых условиях имеются ограничения, которые влияют на эффективность испытания (разд. 7.0 в табл. 3.1). Например, ОТ проходит в условиях относительно грубых измерений. На имитаторе возможны более сложные испытания, поскольку имитатор — это объект с большими возможностями для управления.

Большинство средств оценки деятельности, особенно связанных с субъективным оцениванием (например, выставлением отметок по интервью), не являются стандартизованными; они разрабатываются без применения понятий психометрии. ИЧФ предпочитают использовать собственный подход. Поэтому такие средства должны опробоваться до начала тестирования.

Аппаратура для сбора данных — небольшие магнитофоны для записи замечаний наблюдателя, переносные видеомагнитофоны или кинокамеры для визуальной регистрации происходящих действий — иногда используется в полевых условиях. Для оценки окружающих условий могут применяться фотометры и акселерометры (определение влияния вибраций), а для записи уровня шума — измерители громкости звука.

Потребность в автоматическом сборе данных возрастает, если система становится более компьютеризованной. Когда управление данной системой осуществляется посредством передачи команд на ЭВМ, относительно несложно предусмотреть подпрограммы для регистрации всех входных сигналов оператора и их временных характеристик, связанных с работой оборудова-

______ Оценка эффективности систем129

ня [6]. При автоматическом сборе данных регистрируют только хорошо выраженные реакции, т. е. игнорируются процесс восприятия и познавательные процессы.

3.3.6. Характеристики испытуемого

Разд. 6.0 в табл. 3.1 относится к персоналу, который участвует в испытаниях и специально отобран для работы с системой и поддержания ее в рабочем состоянии иа весь период испытаний; характеристики этого персонала будут использоваться при оценке эффективности работы операторов.

Характеристики испытуемого изменяются в зависимости от характера тестирования. На этапе проверки макета, которая проводится в самом начале и в середине процесса разработки, испытуемыми скорее всего являются инженеры — коллеги ИЧФ. На этом этапе ИЧФ меньше беспокоит несоответствие между испытуемым и будущим пользователем системы, поскольку он в основном интересуется вопросами, связанными с такими фундаментальными параметрами, как, например, атропометричес-кое соответствие аппаратуры (скажем, легко ли осуществляется управление и хорошо ли читается информация, отображаемая на дисплее). Конфигурация всей системы на этом этапе еще не установлена окончательно, поэтому соотношения между характеристиками испытуемых и конструкцией системы являются ориентировочными.

Если деятельность оценивается на имитаторе, то в качестве испытуемых следует использовать штат операторов, поскольку все имитаторы изготовляются после того, как конфигурация системы окончательно разработана.

Если требуется провести достоверные РИ, то следует проводить испытания с привлечением штата операторов, представляющего тот персонал, который будет работать с данной системой и ремонтировать ее. Гедди [21] указал, что персонал, участвующий в испытании, может быть основным источником разброса полученных данных. Если персонал, участвующий в испытаниях, является гораздо более обученным и опытным, чем предполагаемые пользователи системы, то по результатам оценивания системы нельзя дать правильное описание рабочих характеристик последних.

При испытаниях должны учитываться следующие характеристики пользователей системы и испытуемых: 1) физические (например, зрение, слух, рост, вес и сила); 2) развитие (общий интеллект, особые способности, например двигательные); 3) обу-ченность (работе на данной системе); 4) опыт (стаж работы на системах, аналогичных проверяемой).